Badanie miało charakter ewaluacyjny i dotyczyło reformy egzaminu maturalnego. Celem badania było określenie rzetelności punktacji otwartych zadań maturalnych, zaproponowanie modelu analizy rzetelności punktacji, który powinien być wykorzystany w badaniach standaryzacyjnych, oraz zaprezentowanie wyników egzaminatorom w ramach szkolenia. W analizie wykorzystano prace maturalne z nowej matury 2002' z następujących przedmiotów: język polski, historia i matematyka (N = 350). Prace te przygotowano do ponownego sprawdzenia przez egzaminatorów dobranych według kryterium: po jednym z każdego okręgu dla każdego z trzech przedmiotów (N = 24). Każda praca danego typu sprawdzana była przez ośmiu egzaminatorów. W modelu analiz rzetelności systemów punktacji wyróżniono efekt zróżnicowania jakości prac, prosty efekt egzaminatora oraz efekt interakcji praca – egzaminator. Zastosowano dwie metody redukcji efektów egzaminatora. Wyniki badania pozwoliły stwierdzić, że systemy punktacji wypracowań z języka polskiego miały bardzo niską rzetelność (arkusz systemów – 55%, arkusz trzeci – 49%). Oznaczało to, że ocena punktowa pracy w tym samym stopniu zależała od jej cech, jak i od cech egzaminatora. Za niską rzetelność punktacji wypracowań odpowiadały przede wszystkim skale szacunkowe, w tym skala szczególnych walorów pracy, skala jakości kompozycji i stylu oraz skala rozwinięcia tematu. Nieco lepiej wypadła punktacja testu rozumienia czytanych artykułów – efekt egzaminatora wyniósł w tym przypadku 20% zmienności ocen. Swoją rzetelność część ta zawdzięczała najniższym kategoriom taksonomicznym i spadała wraz z głębszym wnikaniem w rozumienie tekstu. Ponadto omawiany arkusz drugi obarczony był błędem rzetelności dydaktycznej, związanym z błędem „próbkowania”. System punktacji testu historycznego w arkuszu pierwszym posiadał rzetelność dostateczną, lecz niedoskonałą. Arkusz drugi testu historycznego cechował się poziomem rzetelności podobnym do systemu punktacji wypracowań z języka polskiego. W przypadku systemów punktacji testu z matematyki rzetelność okazała się wystarczająca (arkusz pierwszy posiadał rzetelność dobrą). Znaczące efekty przyniosła metoda poprawy post factum rzetelności systemów punktowania dla arkuszy egzaminacyjnych z języka polskiego i arkusza drugiego z historii. Rezygnacja z jawnie subiektywnych skal, dopracowanie pozostałych skal i rozwinięcie kultury oceniania kryterialnego poprzez system szkoleń i procedur kontrolnych zwiększyłyby rzetelność do 90-95%. Wśród rekomendacji badaczy znalazły się między innymi: zmiana sposobu wyrażania wyniku egzaminu maturalnego na formułę skali punktów przeliczeniowych; stosowanie procedur post factum do poprawy rzetelności skal; zmiana harmonogramu na mniej obciążający osoby zaangażowane w egzaminowanie (dwa warianty).