Chọn mô hình nào hợp lý cho ICC và cách phiên giải kết quả

Question

Trong 2 model này, thì nên chọn model nào phù hợp với nghiên cứu nào. Và Lấy chỉ số reliability của mean hay của observation.

Có mối liên quan nào giữa p (sự khác biệt giữa 2 chỉ số) và ICC không?

Mọi người cho mình thêm ý kiến

Answer 1

Có 4 loại trong lệnh icc23 trích từ trong tài liệu của Shrout PE, FLeiss JL. Intraclass correlation: uses in assessing rater reliability. Psychol Bull, 1979; 86: 420-428.

1. ICC(2,1) và ICC(2,k): ảnh hưởng ngẫu nhiên hai chiều, cả đối tượng được đánh giá và người đánh giá được giả định là chọn ngẫu nhiên ra từ dân số đích. Ví dụ chọn ngẫu nhiên 10 bệnh nhân và chọn ngẫu nhiên 5 bác sĩ từ nhiều bác sĩ để khám và cho kết quả cho mỗi bệnh nhân.
2. ICC(3,1) và ICC(3,k): ảnh hưởng hỗn hợp hai chiều: bệnh nhân được chọn ngẫu nhiên, nhưng bác sĩ để khám là cố định. Tức là lúc này ta không coi những bác sĩ là một mẫu được chọn mà ta chỉ quan tâm cụ thể các bác sĩ A, B, C này đánh giá như thế nào.

Đối số 1 và k cho biết là ta đang đánh giá dựa trên kết quả của từng quan sát một (kết quả khám của từng bác sĩ) hay dựa trên trung bình kết quả khám của tất cả bác sĩ.

ICC không liên quan đến p-value so sự khác biệt giữa hai chỉ số (ý bạn là t-test, hay Wilcoxon?)

Comments

Khi phân tích có 2 chỉ số, như vậy mình trình bày hai chỉ số (reliability of mean & observation) hay 1. Mình thấy các nghiên cứu chỉ trình bày 1 nhưng không thấy họ nói rõ lấy chỉ số nào? Với cả có cái note ở kia ý nghĩa là gì?

. icc23 a_nperp1 rater a_a_sttm,mo(3) le(.95)
    **************************************************************************
                Two-Way Mixed Effects Models: ICC[3,1] and ICC[3,k]
    **************************************************************************

                      The total number of subjects is: 124
                        The total number of raters is:   2

      **Reliability of observations:  ICC[3,1]** = 0.633, (95% CI: 0.514, 0.728)

          **Reliability of the mean:  ICC[3,2]** = 0.775, (95% CI: 0.679, 0.842)

    **************************************************************************

               **Note: There is a significant rater effect: p = 0.0485**

---

Lựa chọn trình bày phụ thuộc vào người nghiên cứu, nếu đang quan tâm đến thay thế phương pháp thì có thể trình bày Reliability of observations.

Về note, ICC dựa trên phân tích phương sai (như ANOVA, trong trường hợp này là ANOVA lập lại) nên note đó cho biết khi phân tích phương sai ANOVA repeated cho kết quả có sự khác biệt có ý nghĩa thống kê giữa 2 phương pháp.

Cần lưu ý là trong Shrout PE, ICC(2,1) đo lường sự đồng thuận - agreement (2 phương pháp đo giống nhau) và ICC(3,1) đo lường sự nhất quán - consistentcy (nhưng chưa chắc đồng thuận, v.d. A luôn cho kết quả cao hơn B 10 đơn vị là nhất quán hoàn toàn nhưng không đồng thuận).

Bạn có thể cung cấp một đồ thị phân tán scatter plot giữa 2 lần đo phía dưới để xem kết quả có phù hợp?