Rex 분석 : 일치도분석

  1. 분석모듈 설명
  2. 일치도분석은 두 개 이상의 양적변수 또는 두 개 이상의 질적변수의 일치도 지표를 산출하는 통계분석 모듈입니다.  신뢰성 분석에 해당하며, 관찰자간 일치도 또는 일관성을 평가하거나, 검사-재검사의 재현성을 평가할 때 적용되며, 변수 유형(질적/양적)에 따라 일치도 지표를 선택할 수 있습니다. 
  3. 분석에 사용된 R 패키지 및 함수
  4. * Kappa statistic : irr 패키지의  kappa2  함수
    * Weighted Kappa statistic : irr 패키지의 kappa2함수
    * Fleiss' Kappa statistic : irr 패키지의 kappam.fleiss 함수
    * Krippendorff's alpha statistic : irr 패키지의 kripp.alpha 함수
    * ICC (intraclass correlation coefficient) : irr 패키지의 icc 함수
    * Sieve diagram : vcd 패키지의 sieve 함수
    * Bangdiwala's agreement chart : vcd 패키지의 agreementplot 함수
    * Bland-Altman plot : ggplot2 패키지의 ggplot 함수
    * 위에 나열된 결과 외에는 R의 기본 함수를 사용하였음.
    
  5. User interface: 변수설정 탭
    • 
      
      
    • 전체변수: 엑셀 스프레드시트에 있는 변수의 목록을 나타냅니다.
    • 질적변수, 양적변수
    • - 일치도를 계산할 변수들의 유형을 지정해줍니다. - 질적변수와 양적변수 중 한 가지 유형만 지정할 수 있습니다. - 선택된 유형에 적어도 두 개 이상의 변수가 지정되어야 합니다. - 질적변수로 선택된 변수들은 문자 또는 순서형 변수로 인식되어 분석에 사용됩니다. - 선택된 변수 목록에서 Ctrl키를 누른채 해당 변수를 클릭하면 선택해제할 수 있습니다.
  6. User interface: 분석옵션 탭
    • 
      
      
    • 신뢰수준 (confidence level)
    • - 일치도 지표의 신뢰구간 계산 시, 신뢰수준을 지정할 수 있습니다. - 0 과 1 사이의 값을 입력할 수 있으며, 디폴트는 0.95입니다.
    • 통계량
    • - 변수 유형 및 개수에 따라 통계량을 선택할 수 있습니다. - Kappa : 명목형 질적변수 2개 선택 시 선택 가능합니다. 가중치가 적용되지 않은 Cohen's Kappa를 산출합니다. - Weighted Kappa : 순서형 질적변수 2개 선택 시 선택 가능합니다. 다음의 2가지 방식으로 가중치를 적용한 결과를 산출합니다. (1) equal : 모든 수준의 불일치에 대해 동일한 가중치 적용 (2) squared : 수준별 불일치에 차이의 제곱거리에 해당하는 가중치를 적용. - Fleiss' Kappa : 명목형 질적변수 3개 이상인 경우 선택 가능합니다. 가중치가 적용되지 않은 Fleiss' Kappa에 해당하며, 실제 결과로 제시되는 값은 exact Kappa coefficient (Conger, 1980)입니다. - Krippendorff's alpha : Krippendorff에 의해 제안된 신뢰성 지표인 alpha coefficient가 산출되며, 다음 4가지 방식의 가중치가 적용된 결과를 출력합니다. (1) nominal : 선택된 변수를 명목형자료로 간주하며, 같은 수준인 경우 1, 아닌 경우 0을 적용합니다. (2) ordianl : 선택된 변수를 순서형자료로 간주하며, 표본수와 수준의 수에 따라 가중치가 순차적으로 적용됩니다. (3) interval : 선택된 변수를 구간자료로 간주하며, quadratic weight가 적용됩니다. (4) ratio : 선택된 변수를 비율자료로 간주하여 가중치를 적용합니다. - ICC (intraclass correlation coefficient) : 선택된 양적변수에 대해 평가자간 일치도 지표로서 단일점수 또는 평균점수의 intraclass correlation coefficient를 산출합니다. (1) consistency / agreement : consistency는 평가자별 관측치간 차이의 일관성을 나타내는 반면, agreement는 관측치의 절대적인 차이의 크기를 나타냅니다. 예를 들어, 관찰자1이 (2,4,6), 관찰자2가 (4,6,8)을 기록한 경우, consistency는 1이지만, agreement는 0.67에 해당합니다. (2) oneway / twoway : 관측개체만을 random으로 지정하는 oneway모형과 관측개체와 평가자를 모두 randome으로 지정하는 twoway모형이 있습니다. oneway모형의 경우 agreement만 계산할 수 있습니다.
  7. User interface: 출력옵션 탭
    • 
      
      
    • 그래프
    • - 변수 유형에 따라 그래프를 선택할 수 있습니다. - Sieve diagram : 질적변수에 대해, 독립성 가정 하에서 계산된 기대빈도수에 대하여 two-way contingency table에 해당하는 관측빈도의 차이를 나타내는 그래프입니다. 관측빈도와 기대빈도의 차이가 양의 편차를 보일 경우 파란색, 음의 편차를 보일 경우 붉은 색으로 표시됩니다. - Bangdiwala's agreement chart : 질적변수에 대해, 관측빈도는 검은색, 기대빈도는 하얀색 사각형을 겹쳐서 표현한 k by k confusion matrix의 그래프입니다. 직사각형이 빨간색 대각선 위 또는 아래에 치우쳐 위치한 정도가 불일치 정도를 나타냅니다. - Bland-Altman plot : 양적변수에 대해, 두 평가자의 개별 관측값의 평균 대비 차이값을 산점도로 나타낸 그래프입니다. 가운데 굵은 점선은 mean difference를 의미하고, 양쪽 가는 점선으로 된 상한 및 하한은 mean difference로부터 difference의 표준편차의 1.96배만큼의 차이에 해당합니다.
    • 저장 - R object (rex.rda)
    • - 분석 수행 시 생성된 R object를 원하는 경로에 저장한 뒤, R에서 호출하여 추가적인 분석을 수행할 수 있습니다. - rex라는 List object로 통합 저장되어 있으며, comments()를 통해 해당 object에 사용된 패키지 및 함수명, object에 대한 설명을 확인할 수 있습니다.
  8. 결과출력창 해석
    • Data Structure
    • - Number of observation (total) : 전체 관측치 수 - Number of observation (valid) : 유효한 관측치 수 - Number of observation (missing) : 결측치 수 - Number of total variables : 엑셀 상의 전체 변수의 수 - Number of used variables : 분석에 사용된 변수의 수
    • Variable List
    • - 질적(qualitative) 변수와 양적(quantitative)변수로 선택된 변수들을 나타냅니다. - 질적변수로 포함된 변수는 문자 또는 순서형변수로 변환되어 분석에 사용됩니다. - 문자형 변수는 양적변수로 선택될 수 없으며, 선택된 경우 분석에서 제외됩니다.
    • Analysis Description
    • - Statistic : 선택된 일치도 지표를 나타냅니다. - Confidence level : 신뢰구간 추정 시 사용될 신뢰수준을 나타냅니다.
    • Analysis Result
    • - 분석옵션에서 지정한 일치도지표와 표준오차, 신뢰구간, Z-statistic(or F-statiatic), p-value를 나타냅니다. - CI.LB와 CI.UB는 각각 신뢰하한, 신뢰상한을 나타냅니다. - Fleiss' Kappa 및 Krippendorff's alpha reliability coefficient의 경우 신뢰구간 계산 시 붓스트랩이 적용됩니다.
    • Sieve diagram
    • - 질적변수 쌍별 Sieve diagram을 출력합니다. - 독립성 가정 하에서 계산된 기대빈도수에 대하여 two-way contingency table에 해당하는 관측빈도의 차이를 나타내는 그래프입니다. - 관측빈도와 기대빈도의 차이가 양의 편차를 보일 경우 파란색, 음의 편차를 보일 경우 붉은 색으로 표시됩니다.
    • Bangdiwala's agreement chart
    • - 질적변수 쌍별 Bangdiwala's agreement chart를 출력합니다. - 관측빈도는 검은색, 기대빈도는 하얀색 사각형을 겹쳐서 표현한 k by k confusion matrix의 그래프입니다. - 직사각형이 빨간색 대각선 위 또는 아래에 치우쳐 위치한 정도가 불일치 정도를 나타냅니다.
    • Bland-Altman plot
    • - 양적변수 쌍별 Bland-Altman plot을 출력합니다. - 두 평가자의 개별 관측값의 평균 대비 차이값을 산점도로 나타낸 그래프입니다. - 가운데 굵은 점선은 mean difference를 의미합니다. - 양쪽의 얇은 점선으로된 상한 및 하한은 mean difference로부터 difference의 표준편차의 1.96배만큼의 차이에 해당합니다.
  9. Warning 메세지
    • Non-numeric variables were selected as quantitative variables. Analysis has been stopped.
    • - 숫자형이 아닌 변수가 양적변수로 선택되었을 경우 분석이 종료됩니다.
    • Error in analysis
    • - 분석 도중 오류가 발생한 경우, 해당 오류에 대한 메시지와 함께 분석이 종료됩니다.