PISA 2012 okuma becerileri ölçeğinin, uygulama dili doğrultusunda belirlenen ülkeler arasında ölçme değişmezliğinin incelenmesi

Abstract

Araştırmanın amacı, PISA 2012 okuma becerileri testinin farklı ülkeler arasında ölçme değişmezliğinin incelenmesidir. Ülkeler belirlenirken, ölçek dili dikkate alınmıştır. Araştırmada, sırasıyla, aynı dili kullanan ülkeler ve farklı dili kullanan ülkeler arasındaki ölçme değişmezliği incelenmiştir. PISA uygulaması yapılmadan önce ölçekler ilk olarak İngilizce ve Fransızca olarak geliştirilmekte olup, aynı dil formlarının birden fazla ülkede kullanılmasından dolayı, çalışmaya ilk olarak; İngilizce ve Fransızca kitapçıklarının kullanıldığı ülkeler dâhil edilmiştir. İngilizce ve Fransızca dillerinin kullanan ülkeler ayrı ayrı, kendi aralarında incelenmiş olup, İngilizce'nin kullanıldığı ülkeler; Amerika, Avustralya, İngiltere, İrlanda, Kanada, Singapur ve Yeni Zelanda olarak, Fransızca'nın kullanıldığı ülkeler de, Belçika, Fransa, İsviçre, Kanada, Lüksemburg olarak belirlenmiştir. Araştırmaya dâhil edilen bu gruplarla hedef; aynı dilin kullanıldığı ülkeler arasında ölçme değişmezliğinin sağlanıp sağlanmadığının tespit edilmesidir. Bir diğer hedef ise farklı dili kullanan kültürlerin incelenmesi olup; Türkçe kitapçık ile dünya çapında en yaygın konuşulan dillerin (Mandarin, İspanyolca, İngilizce) kitapçıkları karşılaştırılmıştır. Her bir dili temsilen, 2 numaralı kitapçığın uygulandığı, o dilin en çok konuşulduğu ülke seçilmiş ve neticede; çalışmada, Amerika, İspanya, Tayvan-Çin ve Türkiye örneklemleri kullanılmıştır. Bu doğrultuda, çalışmanın genel amacı; PISA 2012 okuduğunu anlama becerisi ölçeğinin faktör yapısının, aynı ya da farklı dillerin konuşulduğu kültürler arası eşitliğinin test edilmesidir. Araştırma, kayıp verilen atılmasıyla, İngilizce konuşan ülkeler grubu için 4390, Fransızca konuşan ülkeler grubu için 1210 ve farklı dilleri konuşan grup için 2668 öğrenci verisiyle ve 2 numaralı kitapçıkta bulunan okuma becerisi ölçeğinde kullanılan 28 maddeyle gerçekleştirilmiştir. İlk aşamada, 28 maddeden oluşan bu modelin yapısı, bütün gruplarda DFA (Doğrulayıcı Faktör Analizi) ile doğrulanmış olup, devamında gruplar arası ölçme değişmezliğinin sağlanıp sağlanmadığını ölçmeye yönelik olarak ÇGDFA (Çok Gruplu Doğrulayıcı Faktör Analizi) yapılmıştır. Analiz sonucunda aşamalı olarak oluşturulan değişmezlik modelleri incelenerek, farklı ülke grupları için farklı sonuçlara ulaşılmıştır. İngilizcenin kullanıldığı gruplar arasında, yapısal faktöriyel değişmezlik sağlanmış, fakat model 2 ve model 3 model daha iyi çalıştığı için ölçme değişmezliğinin sağlanmadığı tespit edilmiştir. Fransızca formun kullanıldığı gruplar da sadece faktör yapıları açısından benzemekte olup model 2 daha iyi çalıştığı için ölçme değişmezliği sağlanamamıştır. Son olarak, farklı dilleri kullanan grupların karşılaştırıldığı analizde de, zayıf faktöriyel değişmezliğin sağlandığı, fakat model 3'ün daha iyi çalışması dolayısıyla, söz konusu gruplar arasında ölçme değişmezliğinin var olmadığı belirlenmiş olup, bu gruplar arasında yapılan karşılaştırmaların anlamlı olmayacağı bulgusuna ulaşılmıştır. PISA 2012 Okuma becerisi ölçeği başarı puanlarının sözü edilen ülkeler arasında karşılaştırılamaz olduğu ve farklılıkların sebebinin öğrenci performansı değil, çeşitli yanlılıklar olabileceği ortaya koyulmuştur.