casa |  | Informação em Saúde >  | Segurança Pública Saúde | Pesquisa Médica

Como calcular um Acordo Inter- Rater

Um acordo entre avaliadores é uma medida de como as medições são consistentes entre dois ou mais observadores (ou " avaliadores ") . Por exemplo , os pesquisadores médicos costumam usar um grupo de médicos para observar e classificar os efeitos de um experimento de tratamento. Medir a coerência entre os observadores é importante, porque nós queremos ter certeza de que todos os efeitos que vemos são devido à nossa experiência e não a grandes diferenças entre os observadores. A estatística primária utilizada para medir a concordância entre avaliadores é chamado de " kappa ". Instruções
1

Calcule cento acordo dividindo-se o número de observações que concordam sobre o número total de observações. Considere o exemplo de um experimento envolvendo 100 pacientes que receberam tratamento para a asma. Dois médicos são convidados a classificar os pacientes em duas categorias: controlados (sim ) ou não (no) os sintomas da asma controlada. Os resultados podem parecer com isso:

Ambos os avaliadores Sim 70

Ambos os avaliadores No 15

Rater º 1 Sim /Rater º 2 No 10

Rater º 1 não /Rater º 2 Sim 5

Total de observações: 100

neste exemplo , o acordo por cento (Pa) seria o número de observações em que os avaliadores concordam (70 +15 ) dividido pelo número total de observações ( 100 ) , ou 85 por cento . Isto irá ser utilizado no numerador da equação final .
2

Calcular o acordo esperado devido ao acaso . Alguns dos concordância observada será devido a pura sorte. Podemos calcular a quantidade de acordo seria visto se as observações eram completamente aleatório

No nosso exemplo : .

Ambos Sim 70

Ambos No 15

# 1Yes /# 2 No 10

º 1 N. º /# 2 Sim 5

Total de observações: 100

Dr. # 1 avaliado Sim 80 /100 ou 80 por cento do tempo ( 0,80 ) .

Dr. # 1 avaliado n º 20/100 ou 20 por cento do tempo ( 0,20 ) .

Dr. # 2 classificado Sim 75/100 ou 75 por cento do tempo ( 75 ) .

Dr. # 2 classificado n ° 25/100 ou 25 por cento do tempo ( 0,25 ) .

Se as observações foram aleatórias , a probabilidade de ambos classificação Sim seria ( 0,80 ) x ( 0,75 ) , ou 60 por cento , e que a probabilidade de ambos classificação Não seria ( 0,15 ) x ( 0,25 ), ou 4 por cento

Então, a probabilidade total de concordância devido ao acaso ( Pe) seria a soma destes. : ( 0,60 ) + ( 0,04 ) , ou 64 por cento . Isso será usado no numerador e denominador da equação final
3

Calcular kappa usando a seguinte equação: .

K = (Pa) - (Pe )

---------------

1 - ( Pe)

No nosso exemplo,

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ), ou 58 por cento
4

Avaliar kappa para determinar se o acordo entre avaliadores é forte. Uma boa regra de ouro é que kappas acima de 80 por cento são excelentes e acima de 60 por cento são bons. Qualquer coisa abaixo de 60 por cento é considerado menos de acordo ideal.

No nosso exemplo, 58 por cento está na fronteira da boa confiabilidade entre avaliadores e os resultados do estudo devem ser interpretados com isso em mente.

5

Avaliar kappa por mais de dois avaliadores , utilizando cálculos kappa Fleiss ' . Este é um cálculo muito mais complicado do que deve ser feito por computador.