Thang đo là một tập hợp các biến quan sát nhằm làm rõ cho một khái niệm tiềm ẩn. Kiểm định độ tin cậy của thang đo nghĩa là kiểm định xem tập hợp biến quan sát phản ánh tính chất của khái niệm đến mức độ nào. Nếu tập biến quan sát thể hiện tốt đặc điểm của khái niệm, độ tin cậy thang đo sẽ cao, và ngược lại. Khi các biến quan sát cùng phản ánh tốt tính chất của khái niệm cần đo lường, giữa chúng sẽ có sự tương quan chặt chẽ với nhau, tính đơn hướng thang đo được đảm bảo. Lúc này hệ số Corrected Item – Total Correlation của các biến quan sát sẽ cao, bởi đây là chỉ số đánh giá mối tương quan giữa từng biến quan sát với các biến quan sát còn lại trong thang đo.
Khi chúng ta đưa biến quan sát của nhiều thang đo vào thực hiện một lần kiểm định Cronbach’s Alpha, điều này đồng nghĩa chúng ta đang đi đo lường độ tin cậy của một thang đo mới bao gồm nhiều thang đo con khác nhau. Thang đo mới này sẽ không đảm bảo được tính đơn hướng, bởi mỗi thang đo con đang thể hiện tính chất của mỗi một khái niệm tách biệt, độc lập nhau. Biến quan sát của từng nhóm sẽ đo lường mạnh cho khái niệm của nhóm đó nhưng lại đo lường rất yếu cho nhóm khác, điều này khiến cho hệ số Corrected Item – Total Correlation của nhiều biến quan sát rất thấp hoặc dưới ngưỡng chấp nhận. Và nếu không đạt được ngưỡng chấp nhận, biến quan sát đó sẽ được loại bỏ khỏi phân tích. Cách thức loại biến quan sát như thế này có thực sự hợp lý không khi chúng ta đang yêu cầu một biến quan sát của thang đo này phải tương quan mạnh với các biến quan sát của thang đo khác để Corrected Item – Total Correlation của biến đó trên ngưỡng 0.3?
Chúng ta cùng xem xét ví dụ với hai thang đo TL và DT của một tập dữ liệu mẫu. Bên dưới là kết quả Cronbach’s Alpha của từng thang đo:
Có thể thấy rằng, hai thang đo đều có hệ số Cronbach’s Alpha rất tốt, độ tin cậy cao và không có biến quan sát nào rơi vào trường hợp cần loại bỏ khi kiểm định riêng Cronbach’s Alpha cho từng nhóm. Tiếp tục thực hiện kiểm định Cronbach’s Alpha chung tất cả biến quan sát của hai thang đo:
Kết quả cho thấy hệ số Corrected Item – Total Correlation của các biến quan sát ở cả hai nhóm đều thấp hơn đáng kể so với khi kiểm định Cronbach’s Alpha riêng. Thậm chí, biến quan sát TL1 và TL4 có Corrected Item – Total Correlation dưới ngưỡng 0.3, hai biến này bị loại bỏ khỏi phân tích. Lý do dẫn đến điều này là vì phép tính toán sẽ đánh giá sự tương quan của biến TL1 và TL4 với lần lượt với tám biến quan sát còn lại trong phân tích Cronbach’s Alpha. Phần mềm nhận diện rằng TL1 hay TL4 có tương quan mạnh với TL2, TL3 (như ở lần kiểm định Cronbach’s Alpha riêng từng nhóm) nhưng lại tương quan rất yếu với DT1, DT2, DT3, DT4, DT5. Phần tương quan yếu quá mạnh làm cho kết quả tương quan mạnh với TL2, TL3 không còn ý nghĩa, do đó mà hệ số Corrected Item – Total Correlation dưới mức 0.3. Cùng cách giải thích như vậy cho lý do tại sao giá trị Corrected Item – Total Correlation của tất cả các biến quan sát ở lần kiểm định Cronbach’s Alpha chung giữa hai nhóm lại thấp đi đáng kể so với việc đánh giá riêng từng thang đo.
Biến TL1 và TL4 có phải là không có ý nghĩa trong phân tích hay không? Hay là do cách phân tích của chúng ta sai? Câu trả lời là do cách thức kiểm định của chúng ta sai hoàn toàn. Chúng ta không thể kỳ vọng một biến quan sát của nhóm này phải tương quan cao với biến quan sát của nhóm khác để có được một kết quả Cronbach’s Alpha tốt được. Biến quan sát A1 của nhóm A là chúng ta xây dựng để làm rõ cho khái niệm của A, không phải làm rõ cho khái niệm của nhóm B, C, D, E… thì không thể đánh giá A1 là biến xấu khi nó có tương quan thấp với các biến quan sát B2, C3, D2, E4 của các nhóm khác được.
Tóm lại, khi thực hiện kiểm định độ tin cậy Cronbach’s Alpha, chúng ta sẽ chỉ kiểm định cho từng thang đo riêng lẻ và không được phép đưa nhiều thang đo vào cùng đánh giá để nhận định loại hay giữ biến quan sát, thang đo đạt hay không đạt độ tin cậy.