Udžbenici su važni, ali ih države i okrugi ne prate sustavno

Tom Kane je prošlog tjedna uvjerljivo pisao o potencijalnoj važnosti udžbenika za postignuća učenika. Ako još niste pročitali njegovo djelo, pročitajte. Ispitao je veliki uzorak učitelja, pitao koje udžbenike koriste i povezao te izbore s postignućima učenika. Otkrio je značajne varijacije u učincima udžbenika, veće od poboljšanja koje tipičan učitelj vidi u prve tri godine.



Vox je također raspravljao o Kaneovoj studiji u njihovom podcastu, The Weeds, ovog tjedna , ističući nisku cijenu i potencijalno veliki povrat ulaganja u istraživački program usmjeren na udžbenike.

Ovo nije prva studija koja je pronašla značajne učinke udžbenika. Rachana Bhatt i Cory Koedel napisali su dva rada koristeći podatke o usvajanju udžbenika na okružnoj razini iz Indijana i Florida , a bilo ih je eksperimentalne studije također.





kojoj je kraljici odrubljena glava

Iako su ove studije važne, budući rad otežan je činjenicom da države općenito ne prate koje se knjige koriste u školama i okruzima. Stoga, ako želite saznati koje se knjige koriste, morate ili pronaći novi izvor podataka koji još nije pronađen ili morate pojedinačno pitati škole ili okruge. Dakle, to je ono što radim.

U proteklih godinu i pol dana financirala me Nacionalna zaklada za znanost [jedan] i anonimnu zakladu (s Coryjem Koedelom u potonjem slučaju) za prikupljanje podataka o usvajanju udžbenika u pet najvećih američkih država i njihovu analizu u potrazi za dokazima o učincima udžbenika (između ostalih pitanja). Upravo smo pri kraju naše faze prikupljanja podataka. S obzirom na nedavni Kaneov poziv na više rada u ovom području, smatrao sam da bi bilo korisno ukratko predstaviti ono što smo naučili o postupak pokušavaju spojiti te podatke.



Ono što me zainteresiralo za prikupljanje podataka iz udžbenika bilo je otkriće (od strane mog doktoranta) kalifornijske Izvješća o odgovornosti škole (SARC-ovi). Ovi SARC-ovi su potrebni državnim zakonom, a između ostalog moraju sadržavati informacije koje podupiru primjerenost nastavnog materijala. [dva] Nažalost, država ne čuva podatke u upotrebljivom formatu, pa je jedini način da ih prikupi gruba sila. Tijekom protekle godine, moji doktorandi su nadzirali hordu studenata master studija koji preuzimaju PDF SARC-ove, kopiraju informacije iz udžbenika u Excel i kodiraju naslove knjiga. Ovaj proces je proizveo vrlo dobre podatke (prepoznatljivi podaci iz udžbenika u oko 80 posto kalifornijskih K-8 škola), ali smo naišli na niz prepreka, uključujući:

  • Sam obim podataka je ogroman - oko 7400 K-8 škola u Kaliforniji. Budući da su mnogi okrugi neujednačeni usvojitelji (svaka škola može donijeti vlastite odluke), moramo prikupiti podatke na razini škole. Platio sam više od 1000 studentskih sati u ovom trenutku.
  • Oko 10 posto škola ili prkosi zahtjevu države da učini dostupnim SARC-ove ili ne daju informacije o udžbenicima.
  • Ne postoji jedinstveni zahtjev za izvješćivanjem, pa oko deset posto škola daje nerazumljive podatke iz udžbenika. Na primjer, mnoge škole navode stvari poput Houghtona Mifflina kao svoje knjige iz matematike, ali Houghton Mifflin trenutno proizvodi oko pola tuceta serijala iz osnovne matematike. Ovaj nedostatak jasnoće dovodi u pitanje zašto se podaci uopće prijavljuju.
  • Broj jedinstvenih knjiga jednostavno je zastrašujući. U matematici k-8 pronašli smo preko 260 korištenih jedinstvenih knjiga (nakon usklađivanja različitih verzija istog naslova). Zasigurno se čini da većina škola kupuje s popisa koji je odobrila država, ali mnoge kupuju jednokratne materijale koje nitko drugi u državi ne koristi.

Ali imam sreće što Kalifornija čak ima te podatke, jer na Floridi [3] , Illinoisu i New Yorku, podaci uopće ne postoje. Na tim mjestima, ako želim podatke, moram pitati. pa sam pitao. Dao sam učenicima da skupe e-poštu i adrese za voditelje kurikuluma u svakom školskom okrugu u tim državama (što je zadatak) i pozvao te voditelje da ispune pregled . Dobio sam otprilike tri posto odgovora.

Zatim je kolega na Twitteru predložio da bih mogao razmisliti o slanju zahtjeva za slobodu informiranja (FOI). Ova ideja se pokazala kao dragulj. Zahtjevi za FOI rezultirali su s više od 50 posto odgovora u Illinoisu i Floridi, nešto manje u New Yorku (još uvijek bilježim stope odgovora). Ali i ovdje je bilo izazova:



Albert muž kraljice Viktorije
  • Odgovori su stigli u svim formatima koji se mogu zamisliti, uključujući rukom napisane popise i sastavljene e-poruke od učitelja. Čak je i samo skeniranje informacija bilo dugotrajno.
  • Netrivijalan broj okruga odbio je zahtjev, rekavši da nemaju postojeće dokumente za dostavu. Chicago je bio jedno istaknuto poricanje, o čemu sam pisao drugdje .
  • Neki drugi okrugi su mi naplatili pristup informacijama. Da nisam imao sredstava, ne bih ih mogao dobiti (to je njihovo zakonsko pravo, a radilo se o relativno malom broju okruga i relativno malo novca).

Sve ove države mogle bi naučiti lekciju iz Teksasa. Nakon što smo otkrili da država vodi evidenciju o kupnji udžbenika u svakom okrugu, iskoristio sam zahtjev za FOI državi i dobio te podatke iz 2011. Podaci su, iako nisu besprijekorni, izvrsni. Mogu se očistiti za nekoliko dana, a ne za nekoliko godina, a uključuju svaku knjigu iz svakog predmeta. Ipak, pronašli smo u ovim podacima 313 jedinstveni pravopisi Houghtona Mifflina Harcourta, među ostalim neobičnostima i izazovima. Nažalost za istraživače poput mene, Teksas nije država Common Core, pa je malo teže uzeti nalaze iz njihovih podataka i primijeniti ih izvan države.

europski istraživači koji su slijedili Kolumba do Sjeverne Amerike

Uskoro ćemo dobiti neke vrlo korisne podatke s kojima možemo odgovoriti na mnoga zanimljiva pitanja. Naravno, razmotrit ćemo pitanje učinkovitosti kao što kaže Kane, ali također planiramo razmotriti stvari kao što su pravedna distribucija materijala, povelje/tradicionalne javne razlike, tko usvaja knjige usklađene s Common Core, a tko ne, itd. I tu postoje mnoge mogućnosti za povezivanje s drugim podacima, kao što su podaci Kaneove ankete o učiteljima i RAND-ov American Teacher Panel. Ali da biste učinili bilo koju od ovih stvari, podaci moraju biti upotrebljivi. A proces koji smo morali proći da bismo dobili upotrebljive podatke prilično je zadivljujući. Čak i kada smo dobili podatke, bili su nevjerojatno neuredni (što sugerira da države kojima je stalo do ovog problema moraju izgraditi sustave koji čine čišće podatke – predlažem korištenje ISBN brojeva knjiga kao okosnice svakog sustava). Ne bi trebalo biti tako teško prikupiti korisne podatke. Texas pokazuje da se to može. U ovoj eri zajedničkih standarda, sve što nam treba je još nekoliko država da to učinimo kako bismo mogli naučiti što funkcionira, a što nije za djecu.



[jedan] Ovaj se materijal temelji na radu podržanom od strane Nacionalne zaklade za znanost u okviru granta br. 1445654. Sva mišljenja, nalazi i zaključci ili preporuke izraženi u ovom materijalu pripadaju autoru(ima) i ne odražavaju nužno stavove Nacionalne znanosti Temelj.



[dva] Ovaj zahtjev rezultat je sudske odluke iz 2004. godine Williams protiv države Kalifornije slučaj, koji je utvrdio da agencije učenicima javnih škola nisu omogućile jednak pristup nastavnim materijalima, sigurnim i pristojnim školskim objektima i kvalificiranim učiteljima.

[3] Podaci možda postoje na Floridi, ali ih nisam pronašao. Znam da su oni postojali u prošlosti jer su ih Bhatt i Koedel koristili u prethodnoj analizi.