Prywata (do forumowych statystyków w kwestii pomiaru jakości szkół) - jest korelacja, czy jej nie ma
"Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. By można ją zastosować, potrzebujemy wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie."
Twórcy metody chcą wprowadzić nową jakość w pomiarze jakości pracy szkół - przykładowo, absolwenci szkoły ponadgimnazjalnej osiągają przyzwoite wyniki na zewnętrznych egzaminach maturalnych, ale nie mieszczą sie w ścisłej czołówce. Okazuje się jednak, że ich progresja w stosunku do egzaminu gimnazjalnego jest bardzo duża, znacznie wyższa niż w przypadku ich kolegów z najlepszego liceum, w którym średni wynik matur jest nieco lepszy. Wskaźnik edukacyjnej wartości dodanej powinien więc promować tych nauczycieli, którzy wykonali dobrą robotę z mniej zdolną i słabiej przygotowaną młodzieżą. Powinien, ale czy promuje??
Na stronie projektu możemy porównać szkoły ze względu na wskaźniki wyniku końcowego i edukacyjnej wartości dodanej z wybranego okresu i przedmiotu, tak jak na poniższym przykładzie. Każda szkoła jest reprezentowana przez elipsę stanowiącą 95% powierzchnia ufności dla łącznego oszacowania wskaźników.
Ad rem - na moje kaprawe oko, występuje tu wyraźna korelacja między wynikiem egzaminu a "wskaźnikiem EWD". Bardzo chciałbym poznać pogląd Szanownego Koleżeństwa.
Twórcy metody chcą wprowadzić nową jakość w pomiarze jakości pracy szkół - przykładowo, absolwenci szkoły ponadgimnazjalnej osiągają przyzwoite wyniki na zewnętrznych egzaminach maturalnych, ale nie mieszczą sie w ścisłej czołówce. Okazuje się jednak, że ich progresja w stosunku do egzaminu gimnazjalnego jest bardzo duża, znacznie wyższa niż w przypadku ich kolegów z najlepszego liceum, w którym średni wynik matur jest nieco lepszy. Wskaźnik edukacyjnej wartości dodanej powinien więc promować tych nauczycieli, którzy wykonali dobrą robotę z mniej zdolną i słabiej przygotowaną młodzieżą. Powinien, ale czy promuje??
Na stronie projektu możemy porównać szkoły ze względu na wskaźniki wyniku końcowego i edukacyjnej wartości dodanej z wybranego okresu i przedmiotu, tak jak na poniższym przykładzie. Każda szkoła jest reprezentowana przez elipsę stanowiącą 95% powierzchnia ufności dla łącznego oszacowania wskaźników.
Ad rem - na moje kaprawe oko, występuje tu wyraźna korelacja między wynikiem egzaminu a "wskaźnikiem EWD". Bardzo chciałbym poznać pogląd Szanownego Koleżeństwa.
0
Aby napisać komentarz, musisz się zalogować lub zarejestrować.
Komentarz
To są wszystkie szkoły pod poprowadzoną linią prostą.
W niektórych ośrodkach korelacja jest mniej widoczna...
Jeżeli ze zmiennych A i B i wyliczymy zmienną C stanowiącą ich różnice , to korelacja zmiennej wynikowej ze zmiennymi na podstawie których jest ona wyliczana nie powinna specjalnie zaskakiwać. Zwłaszcza, jeżeli zmienne "wyjściowe" (A,B) są ze sobą skorelowane. W takiej sytuacji, żeby powiedzieć coś sensownego o wpływie "zmiennych surowych" na wynikową, należałoby zrobić jakiś prosty model wieloczynnikowy (choćby analizę kowariancji).
No i teraz popatrzmy na zadany problem:
Dla każdej szkoły mamy wyniki uczniów na początku (P) i na końcu (K) prowadzonej w niej edukacji. Standardowe metody oceny szkoły opierały się jedynie na wynikach końcowych (K) co jednak było krytykowane - choć nie wyrażono tego explicite verbis - ze względu na korelację K~P. Dlatego wyliczono współczynnik EWD. Widzimy, że koreluje on z K i -pamiętając o korelacji K~P - mamy prawo przypuszczać, że i z P. Ale czy to źle? Gdybym ja miał oceniać szkołę mając do wyboru tylko pokazane przez koleżeństwo obrazki, to zwróciłbym uwagę głownie na szkoły o dużych residuals - bo wysoki EWD przy niskim wyniku K wskazuje, że wykonano dużą pracę, ale wystartowano z dramatycznie niskiego P, zaś wysoki K przy niskim EWD pokazuje, że po prostu nie zmarnowano potencjału jakim było wysokie K. Z technicznego punktu widzenia przy liczeniu EWD IMO wskazane byłoby podawanie wartości standaryzowanych dla danego roku - ale to już inna bajka.
C = B-A = (b-1)A = (1-1/b)B jest skorelowana ze zmiennymi A i B. To akurat nie jest problem, ponieważ EWD jest sztucznie wytworzonym wskaźnikiem, który może być dowolną funkcją A i B - w powyższym przykładzie choćby jako C=B-bA. Źle. Metoda EWD ma być "pomiarem wkładu szkoły w proces nauczania". Jeżeli de facto wyłącznie dubluje zmienną K, to albo mija się z celem, albo jest niepotrzebna i należy zastosować sławetne narzędzie Ockhama.
Z technicznego punktu widzenia przy liczeniu EWD IMO wskazane byłoby podawanie wartości standaryzowanych dla danego roku - ale to już inna bajka.
Najlepszą standaryzacją jest porównanie wyniku z innymi zdającymi. Przed maturą można zrobić listę rankingową na podstawie wyników na etapie gimnazjum, potem drugą, już na podstawie matury. EWD może być rozumiane po prostu jako różnica miejsc na obu listach - przejrzyste i naturalne, ale wtedy np. EWD szkoły, do której trafią najlepsi uczniowie, może być co najwyżej zerowa.
I tak samo jest z EWD. Mimo że koreluje ona z wynikami egzaminu maturalnego, niesie dodatkową informację o tym czy w danej szkole uczniowie z danego przedmiotu się "podciągają" czy "dołują".
Przy czym, wskaźnik ten bez podania wyników końcowych może być mylący. Bo jeżeli szkoła "poprawia matematykę" z 30% na 50% to ma EWD 20, a taka, która wyciąga z 70% na 80% o połowę mniejsze. Tyle, że człowiek, który na gimnazjalnym napisał na 75% a zależy mu na matematyce w tej pierwszej raczej się nie rozwinie. Ale za to osoba z dużymi brakami może liczyć, że się w niej rzeczywiście podciągnie...
Generalnie w przypadku EWD jest tak jak z innymi wskaźnikami - najciekawsze są te przypadki, kiedy wskaźnik nie koreluje z którymś z argumentów równania na podstawie którego jest wyliczany - delikatnie zwrócił na to uwagę kol. krzychol66. Drobne wyjaśnienie - pisząc o "standaryzacji" miałem na myśli statystyczne znaczenie tego terminu (różnicę między wynikiem pomiaru, a średnią dzielimy przez odchylenie standardowe) co de facto pokazuje jak dany pomiar wygląda na tle innych. W stosunku do zestawienia miejsc rankingowych, ma tą przewagę, że uwzględnia różnicę w wynikach: Miejsca rankingowe dla medalowych trójek 100%, 99% 98% i 99% 60% 50%, będą wyglądać tak samo. A standaryzacja ładnie pokaże różnice.
Jeżeli już mówimy o szczegółach, to - moim zdaniem - ważne by było, żeby brać pod uwagę te same kohorty uczniów. Czyli maturę 2015 zestawiamy z gimnazjum 2013. Bo jeżeli szkoła w międzyczasie zmniejszyła wymagania to mogą wyjść poważne zafałszowania: np 2013 przyjęli ze średnim wynikiem 60%, potem obniżyli wymagania i w 2014 i 2015 przyjęli z 40%. Jeżeli w 2015 przeciętna matura w tej szkole to 50%, to dla tego rocznika EWD =-10, ale gdyby zestawić P i K dla 2015 to nagle wyskoczy na +10.
Resumując, uważam, że EWD to przydatny wskaźnik, pod warunkiem, że zna się jego ograniczenia i stosuje jako uzupełnienie a nie zamiennik innych danych.
2. Do matury mogą podchodzić różne roczniki, tak jest w przypadku uczniów technikum i liceum. Zdawali oni różne egzaminy gimnazjalne. Mediany i średnie wartości są na ogół różne w różnych latach. Jeżeli uczeń był lepszy od 70% swoich rówieśników, można powiedziec, że jest lepszy od kolegi, który rok wcześniej uzyskał wynik lepszy od 69% swoich rówieśników.
Bo jeżeli o wskaźnikach to nie ma możliwości, żeby w szkole, w której średni poziom uczniów po gimnazjum był niski i do matury wzrósł współczynnik EWD był ujemny (to samo w druga stronę). Co innego w przypadku pojedynczych uczniów - w szkole z ujemnym EWD mogą się zdarzyć indywidualne przypadki podciągnięcia. Tylko wtedy, kiedy inne szkoły o podobnych wartościach na osi odciętych mają EWD jeszcze niższe... Czyli kiedy spośród fatalnych szkół ta jest "najmniej szkodząca"
Kolega ewidentnie ma problemy z rozróżnieniem "ograniczeń metody" i "zafałszowania" No ale właśnie standaryzacja i liczenie dla początku i końca, o którym pisałem wcześniej to rozwiązuje:
NP. Szkoła przyjęła uczniów, których przeciętne wyniki były o 0,3 SD niższe od przeciętnej, a po kilku latach zdali oni maturę na poziomie 0,1 SD wyższym niż przeciętna to dla tej grupy EWD wynosi 0,4 SD. I nie ma znaczenia ile lat upłynęło między egzaminami gimnazjalnymi a maturalnymi.
Mamy miarę poziomu uczniów na począku edukacji (P) wyrażoną wynikiem na egzaminie gimnazjalnym i miarę poziomu uczniów wyrażoną wynikiem na egzaminie końcowych (K) obie miary wyrażone są wartością od 0 do 100%.
Stwierdzenie Oznacza po prostu że K>P => K-P > 0
Chyba, że kolega coś innego rozumie pod pojęciem "poprawić się" - ale to już nie jest problem twórców wskaźnika. Co to znaczy "symboliczne"? Kolega krzychol66 znalazł przykład, że niekoniecznie są one symboliczne Jak już pisałem - to że wskaźnik w jakimś tam przypadku jest silnie skorelowany z jednym z argumentów na podstawie których jest wyliczany jeszcze nie świadczy o jego bezużyteczności. Wracam do przykładu z BMI - czasami też jest on silnie skorelowany z masą, ale to jeszcze nie znaczy, że jest bazużyteczny. Chodzi o porównanie miejsc rankingowych? Jeżeli tak, to przypomnę, że jak już wyjaśniałem wcześniej nie zawiera ona informacji o tym jak bardzo zróznicowane są pozycje rankingowe. A więc ma przynajmniej jedną wagę więcej....
Wobec obecnego tutaj trustu mózgów myśli chyba rozwijać nie muszę.
K - przeciętny wynik uzyskany przez uczniów tej samej szkoły na egzaminie maturalnym
Przypominam, że na obu egzaminach wynik podawany jest w procentach. Możliwe wyniki egzaminu maturalnego to liczby naturalne od 0 do 150 albo 200 (nie pamiętm w tej chwili czy w zestawieniach punkty z egzaminu rozszerzonego mnoży się przez 1,5 czy przez 2).
Poza tym stwierdzenie, że skala interwałowa (wyniki standaryzowane) jest bardziej precyzyjna niż porządkowa (ranking) jest dość elementarne. Szczerze mówiąc nie bardzo rozumiem pytanie.
Jak już pisałem, moim zdaniem, wskaźnik EWD, może mieć charakter przydatnej informacji uzupełniającej właśnie w sytuacjach nietypowych. Np w sytuacji, kiedy mamy porównać dwie szkoły o podobnych wynikach na egzaminie maturalnym.
Tu w ogóle dotykamy szerszego problemu, jakim są pomysły "jednowskaźnikowego" opisu skomplikowanych fenomenów. W mojej branży - biologii - jest to wręcz plaga.
Dlaczego? Ano dlatego, że ta tak drażniąca kolegą korelacja pokazuje, że jednak podczas nauki w szkole ponadgimnazjalnej coś się zmienia. "Dobrzy" staja się "jeszcze lepsi" a "słabi" "jeszcze słabsi". Dlaczego tak się dzieje powinni wypowiedzieć się pedagodzy i psychologowie. A mając tylko wskaźniki to trzeba by chociaż mieć model badający wpływ na EWD obu zmiennych z których jest wyliczany.
Argument, że wysoka korelacja wskaźnika z przynajmniej jedną ze zmiennych na podstawie, których jest on wyliczany, stanowi podstawę do uznania go za niepotrzebny mnie nie przekonuje (przynajmniej dopóki R<1
Bo wszystko zależy od tego czemu dany wskaźnik ma służyć. I często (przynajmniej w naukach przyrodniczych) jest tak, że najciekawsze rzeczy dzieją się tam gdzie coś odstaje od prawidłowości. Np. u wielu bezkręgowców siedlisk podmokłych zagęszczenie populacji ładnie koreluje z wielkością płata (to się nazywa "patch size effect")
chociaż nie jest to zależność prostoliniowa. I właśnie znając tą zależność wynajduje się płaty, które od niej odstają, bo na nich dzieją się ciekawe rzeczy (punktowe zanieczyszczenia, inwazje biologiczne itp). I moim zdaniem EWD można w ocenie szkół traktować podobnie - jeżeli silnie odbiega od trendu to należy jej się bacznie przyjrzeć. Bo może to być albo placówka, która skutecznie "podciągać się" uczniom z zaległościami albo wprost przeciwnie....
Osobną sprawą jest zadęcie autorów "projektu EWD", ale niestety jest to teraz powszechne.