Quando duas variáveis binárias são tentativas de dois indivíduos para medir a mesma coisa, você pode usar Cohens Kappa (geralmente chamado de Kappa) como uma medida de concordância entre os dois indivíduos. Kappa mede a porcentagem de valores de dados na diagonal principal da tabela e, em seguida, ajusta esses valores para a quantidade de concordância que poderia ser esperada devido ao acaso sozinho. Dois colegas são solicitados a classificar os objetos nas categorias 1 e 2. A tabela abaixo contém probabilidades de celular para uma tabela de 2 por 2. Para calcular o Kappa, primeiro você precisa calcular o nível de concordância observado. Este valor precisa ser comparado ao valor que você esperaria se os dois avaliadores fossem totalmente independentes. O valor de Kappa é definido como O numerador representa a discrepância entre o observado Probabilidade de sucesso e probabilidade de sucesso sob a hipótese de um caso extremamente ruim. A independência implica que um par de avaliadores concorda com a frequência de dois pares de pessoas que efetivamente jogam moedas para fazer suas classificações. O valor máximo para kappa ocorre quando o nível de concordância observado é 1, o que torna o numerador tão grande como o denominador. À medida que a probabilidade de concordância observada diminui, o numerador declina. É possível que o Kappa seja negativo, mas isso não ocorre com muita frequência. Nesse caso, você deve interpretar o valor de Kappa para implicar que não existe um acordo efetivo entre as duas taxas. Como interpretar Kappa Kappa é sempre menor ou igual a 1. Um valor de 1 implica um acordo perfeito e valores inferiores a 1 implicam um acordo menos do que perfeito. Em situações raras, Kappa pode ser negativo. Este é um sinal de que os dois observadores concordaram menos do que seria esperado apenas por acaso. É raro que possamos chegar a um acordo perfeito. Pessoas diferentes têm interpretações diferentes quanto ao que é um bom nível de acordo. Na parte inferior desta página está uma interpretação, fornecida na página 404 da DG Altman. Estatísticas Práticas para Pesquisa Médica. (1991) Londres Inglaterra: Chapman e Hall. Aqui está uma interpretação possível do Kappa. Acordo de má qualidade Menos de 0,20 Acordo justo 0,20 a 0,40 Acordo moderado 0,40 a 0,60 Bom acordo 0,60 a 0,80 Muito bom acordo 0,80 a 1,00 Um exemplo de Kappa Em um exame de uso de prescrição auto-relatado e uso de prescrição estimado por registros médicos eletrônicos, a tabela a seguir foi Observado. O valor para Kappa é de 0,16, indicando um nível de concordância fraco. Um segundo exemplo de Kappa. A tabela a seguir representa o diagnóstico de biópsias de 40 pacientes com melanoma maligno auto-relatado. As linhas representam o primeiro diagnóstico de patologistas e as colunas representam o diagnóstico dos segundos patologistas. Calcule Kappa. Novamente, este é apenas um acordo de nível justo. Observe que mesmo que os patologistas concordem 70 do tempo, eles deveriam ter quase um nível de acordo (62) apenas por acaso sozinho. Usando o SPSS para calcular o Kappa Como antes, selecione ANALISEIS ESTATÍSTICAS DESCRITIVAS CROSSTABS no menu SPSS. Na caixa de diálogo, clique no botão STATISTICS e selecione a caixa de opção Kappa. Na parte inferior da página é a aparência da saída SPSS. Eu tenho muitas referências para kappa e o coeficiente de correlação intraclasse que eu preciso classificar. Há uma pergunta interessante relacionada a este tópico: Bill pergunta como determinar se um tamanho de amostra é adequado para estimar uma correlação intraclasse. A abordagem mais simples é ver se o intervalo de confiança que você produziu (ou irá produzir) é suficientemente estreito para atender às suas necessidades. As fórmulas do intervalo de confiança são confusas, mas se você deseja prosseguir isso, Shoukri e Edge têm um livro que pode ajudar. Nico van Duijn publicou uma boa bibliografia para este tópico no servidor de listas de segurança baseada em evidências (inscreva-se em listservmailbase. ac. uk e envie mensagens para basear a evidência-healthmailbase. ac. uk). Vou tirar desta bibliografia para escrever minha página. Outra boa referência, especificamente sobre o Kappa é hassey. demon. co. ukkappa. rtf, que requer um processador de texto que pode ler arquivos RTF (Rich Text Format). Heres um e-mail que pode servir de base para uma pergunta Ask Professor Mean. Eu me encontrei com você no início da minha dissertação e achei seu conselho muito útil. Estou no processo de terminar meus dados e ter uma pergunta rápida com a qual pensei que poderia ajudar. Eu fiz observações comportamentais para o meu estudo e tive uma pessoa codificar todos os dados, e outra pessoa codifica 20 dos dados por confiabilidade. Gostaria de usar a equação Kappa para determinar a confiabilidade entre os meus codificadores. Eu sei que preciso calcular quatro números: 1) acordos de número total o comportamento ocorreu 2) acordos de número total o comportamento não ocorreu 3) número de vezes codificador A disse sim e codificador B disse não e 4) número de vezes o codificador A Disse que não e o Coder B disse que sim. Minha pergunta é o que eu faço com esses números para obter uma pontuação do Kappa, sei que o SPSS irá fazê-lo se eu inserir todos os dados - mas isso seria centenas de pontos de dados por assunto e levaria muito mais tempo do que calculá-lo manualmente . Qualquer informação que você poderia fornecer seria muito apreciada. Obrigado Rebecca Um coeficiente de acordo para escala nominal. Cohen J. Educat Psychol Measure 1960 20: 37-46. Coeficiente de correlação intra-classe como medida de confiabilidade. Bartko JJ. Psychol Reports 1966 19: 3-11. Acordo de escala nominal de kappa ponderada com provisão para desacordo ou crédito parcial. Cohen J. Psychol Bull 1968 70: 213-20. Em vários coeficientes de confiabilidade de correlação intraclasse. Bartko JJ. Psychol Bull 1976 83: 762-5. A medida do acordo observador para dados categóricos. Landis JR, Koch GG. Biometrics 1977, 33: 159-74. Bioestatística clínica LIV a bioestatística de concordância. Kramer MS, Feinstein AR. Clin Pharmacol Ther 1981 29: 111-23. Métodos estatísticos para avaliar a variabilidade do observador em medidas clínicas. Brennan P, Silman A. Brit Med J 1992 304: 1491-4. Uma reavaliação do coeficiente kappa. Thompson WD, Walter SD. J Clin Epidemiol 1988 949-58. Bias, prevalência e kappa. Byrt T, bispo J, Carlin JB. J Clin Epidemiol 1993 46 etc. Balanças de medição de saúde, 4ª ed. Streiner DL, Norman GR. Oxford: Oxford Univ Press, 1994. Uma interpretação do kappa é: lt. 40: pobre. 40-.59 justo. 60-.74 bom, gt.74 excelente. Diretrizes, critérios e regras para avaliar instrumentos de avaliação normalizados e padronizados em psicologia. Cichetti (1994) Psychological Assessment, 6, 284-290. Grande variância da amostra de Kappa no caso de diferentes conjuntos de avaliadores. Fleiss, J. L. Nee, J. C.M. Amp Landis, J. R. (1979) Psychological Bulletin, 86, 974-977. Feinstein AR, Cicchetti DV. Alto acordo, mas baixo kappa: os problemas de dois paradoxos. J Clin Epidem. 199043: 543-9. Cicchetti DV, Feinstein AR. Alto acordo, mas baixo kappa: resolução dos paradoxos. J Clin Epidem. 199043: 551-8. Thompson WD, Walter SD. Kappa e o conceito de erros independentes. J Clin Epidem. 198841: 969-70. Thompson WD, Walter SD. Uma reavaliação do coeficiente kappa. J Clin Epidem. 198841: 949-58. Byrt T, Bispo J e Carlin JB (1993) Bias, prevalência e kappa. Journal of Clinical Epidemiology 46: 423. Lantz CA e Nebenzahl E (1996) Comportamento e interpretação das estatísticas kappa: resolução dos dois paradoxos. Journal of Clinical Epidemiology 49: 431. Esta página foi escrita por Steve Simon enquanto trabalhava no Childrens Mercy Hospital. Embora eu não segure os direitos autorais deste material, eu o reproduz aqui como um serviço, pois já não está disponível no site do Childrens Mercy Hospital. Preciso de mais informações. Tenho uma página com recursos gerais de ajuda. Você também pode procurar páginas semelhantes a esta na Categoria: Definições. Categoria: acordo de medição. NOTÍCIA: O grupo de consultoria estatística IDRE estará migrando o site para o WordPress CMS em fevereiro para facilitar a manutenção e criação de novos conteúdos. Algumas de nossas páginas antigas serão removidas ou arquivadas de modo que elas não serão mais mantidas. Vamos tentar manter os redirecionamentos para que os URLs antigos continuem a funcionar da melhor maneira possível. Bem-vindo ao Instituto de Pesquisa e Educação Digital Ajudar o Grupo de Consultoria Estatal dando um presente Stata FAQ Como posso calcular uma estatística kappa para variáveis com gamas de pontuação desiguais Suponhamos que gostaríamos de comparar dois avaliadores usando uma estatística kappa, mas os avaliadores tiveram diferentes Faixa de pontuação. Esta situação geralmente se apresenta onde um dos avaliadores não usou a mesma faixa de pontuação que o outro avaliador. Deixe-nos considerar um exemplo em que dois estudantes de pós-graduação pediram para avaliar 12 filmes com base em uma escala de 1-3. Um avaliador usou todas as três pontuações possíveis enquanto classificava os filmes, enquanto o outro estudante não gostou de nenhum dos filmes e, portanto, classificou todos eles como um 1 ou um 2. Assim, a faixa de pontuação não é a mesma para Os dois avaliadores. O kap do comando Statas é para estimar o acordo inter-avaliador e pode lidar com as situações em que as duas variáveis têm as mesmas categorias e outras situações em que não, o que é o caso apresentado acima. Aqui está um exemplo. O conteúdo deste site não deve ser interpretado como um endosso de qualquer site, livro ou produto de software específico da Universidade da Califórnia.
No comments:
Post a Comment