4

Victoria Dryselius & Manuela Lupsa

Institutionen för svenska språket, Linnéuniversitetet

Abstract – Det målrelaterade utbildningssystemet innebär att kursmålen styr både undervisningens och examinationens innehåll, vilket något förenklat kan uttryckas som att undervisningen ska skapa förutsättningar för att studenten ska uppnå målen samtidigt som examinationen ska utvärdera huruvida studenten uppnår målen eller inte (Biggs 2003). Med andra ord måste det råda samstämmighet (eng. alignment) mellan kursplan, undervisning och examination. Den aktuella studien utgör en kritisk granskning av en samstämmighetsstudie som undersöker hur examinationerna inom första terminen på ämneslärarprogrammet i svenska vid Linnéuniversitetet förhåller sig till de lokala kursmålen. Det teoretiska ramverket för studien är Blooms reviderade taxonomi, en samstämmighetsmodell som Anderson & Krathwohl m. fl. (2001) har utarbetat. Till skillnad från tidigare studier på området, många av dem gjorda på ämnen inom naturvetenskap och med kvantitativa analysinstrument, har vi undersökt ett humanistiskt ämne samt valt en kvalitativ metod. Den språkliga analysen av kursmål och examinationsuppgifter har framhävt vissa kritiska aspekter, bl.a. kontextens betydelse för hur man analyserar multidimensionella mål och uppgifter. I tidigare studier har multidimensionella mål och uppgifter undvikits. Vår analys visar att multidimensionalitet, analyserad i sin kontext, istället bör ses som en förutsättning för en nyanserad förståelse. En ytterligare styrka som vi ser med kvalitativ analys av samstämmighet är att den kumulativa funktionen hos multidimensionella mål tydliggörs. En aspekt som studien diskuterar är relationen mellan kvalitet och samstämmighet. Slutsatsen är att hög samstämmighet inom en delkurs inte borgar automatiskt för att kvaliteten är god.

Nyckelord: samstämmighet, alignment, Blooms reviderade taxonomi, multidimensionalitet, kvalitet

1.Inledning

Under de senaste 20 åren har högre utbildning inom högskolor och universitet förändrats på flera sätt, bl.a. genom en ökning både av antalet studenter och av antalet studenter från studieovana miljöer, samt genom införande av nya krav på bedömning (jfr Hult 1998; Hedin 2006). De nya förutsättningarna påverkar den undervisning som bedrivs inom universiteten, och en av de faktorer som diskuteras är examination och dess betydelse inom utbildning (jfr Trowald 1997; Hult 1998). Synen på examination har utvecklats från att ses som en strikt kontroll av kunskap, till en mer nyanserad syn, där examinationen ses både som kontroll av kunskap och som en del i studentens lärprocess. Som en följd av denna utveckling diskuteras även examinationen och dess syften alltmer inom universitetspedagogiken (Hult 1998; Hedin 2006). Bland de aspekter som diskuteras märks bland annat vikten av att kursmål formuleras tydligt, samt att examinationsformerna varieras (Hedin 2006). Att examinationen är avgörande för studenters lärstrategier och kvaliteten på deras lärande (Marton m.fl. 1977, Gibbs 1999) slog forskningen fast redan på 1970-talet.

Det målrelaterade utbildningssystemet innebär att kursmålen styr både undervisningens och examinationens innehåll, vilket något förenklat kan uttryckas som att undervisningen ska ge studenten möjligheten att uppnå målen samtidigt som examinationen ska utvärdera huruvida studenten uppnår målen eller inte (Biggs 2003). Med andra ord måste det råda samstämmighet mellan kursmål, undervisning och examination.

Den samstämmighetsstudie som är underlag för de resonemang som presenteras här är ett resultat av en undersökning av relationen mellan examinationer och lokala kursmål[1] i ämneslärarutbildningens första termin (1SVÄ02) vid Linnéuniversitetet under höstterminen 2013. En av våra avsikter med undersökningen var att få ett underlag inom kollegiet för att diskutera kvalitet och utveckling inom ämneslärarutbildningen. Under arbetet med den valda analysmodellen uppstod flera frågor, och syftet med föreliggande studie är att diskutera dessa metodologiska frågor. Den valda modellen (Blooms reviderade taxonomi – se avsnitt 2 för presentation) utgör ett detaljerat redskap för analys utifrån olika underkategorier. Just mängden underkategorier, och den detaljrikedom som finns där, bl.a. genom de verb som används, gjorde att vi under det initiala analysarbetet med modellen närmast upplevde den som övertydlig. Efter hand uppstod dock frågor om olika tolkningar – en återkommande diskussion var huruvida ett och samma språkliga uttryck (t.ex. verbet ”redogöra för”) ska ges samma tolkning oavsett i vilken kontext uttrycket står. Det är sådana metodologiska frågor som står i fokus i denna text.

Inledningsvis ger vi en presentation av den analysmodell som användes, samt en litteraturöversikt. Därefter följer en övergripande beskrivning av den genomförda samstämmighetsstudien, för att ge en bakgrund till de senare metodologiska resonemangen.

1.2 Begreppsförklaring

Begreppet examination kan ses utifrån olika perspektiv. För det första påverkas examinationen av lärarens pedagogiska intention (jfr definition av samstämmighet nedan). För det andra har examinationen en viss form (hemtentamen, salstentamen, skriftlig uppgift, seminarium etc.). För det tredje har varje sådan examinationsform också ett innehåll, dvs. själva uppgiften som ska genomföras. Vi finner alla dessa aspekter i följande definition av examination som vi också antar för denna studie:

[assessment is] a procedur of collecting, synthesizing, and interpreting information about students achievement to support teachers in their decision making, to evaluate teaching (Popham 2003 i Näsström 2008:19 – vår markering).

I Pophams definition lyfts endast ’teaching’, dvs. undervisning fram. Enligt oss bör dock en definition av examination inkludera även ’learning’, dvs. (studentens) lärande. Vår genomförda samstämmighetsstudie avgränsades till att endast analysera kursmål och examinationer, så undervisningen i de olika delkurserna ingår inte i materialet.

Begreppet samstämmighet är översättningen av engelskans ’alignment’ (Stenlund 2006; Näsström m.fl. 2011), och är det begrepp som används genomgående i denna text. Anderson & Krathwohl m.fl. (2001:10) definierar ’alignment’ som ”the degree of correspondence among the objectives, instruction, and assessment”, och vi ansluter oss till den definitionen, trots att vår studie alltså inte undersökt undervisning.

De lokala kursmålen definieras i linje med Näsström (2008:18) som ”beskrivning av vad studenten förväntas kunna genomföra efter avslutad kurs och hur väl studenten förväntas uppnå dessa kunskaper och färdigheter”. I den genomförda undersökningen används även begreppet för de konkreta kursplanemål som anges för de respektive delkurserna.

2. Teoretiskt ramverk

Det finns olika analysmodeller för att undersöka samstämmighet. Av de modeller som presenteras i A Taxonomy for Learning, Teaching, and Assessing. A revision of Bloom’s taxonomy of educational objectives av Anderson & Krathwohl m.fl. (2001:259–302) har vi valt Blooms reviderade taxonomi (se tabell 1 nedan). En anledning till valet var att det amerikanska utbildningssystemet, som modellen är gjord för, är målstyrt, liksom det svenska. Dessutom har även tidigare studier av samstämmighet inom svenskt utbildningssystem använt Blooms reviderade taxonomi som analysverktyg (jfr Stenlund 2006; Näsström 2008), vilket ökar möjligheterna till jämförelse. Samstämmighet mellan undervisning och examination ses som en förutsättning för att kunna avgöra om studenten uppnått målen:

If assessments are not aligned with objectives, then they do not provide clear evidence of intended student learning. Teachers should make sure that assessments are aligned with objectives. (Anderson & Krathwohl m.fl. 2001:233 – vår kursivering)

Samstämmigheten hjälper således både läraren i sin bedömning och studenten i sin förståelse av lärandemålen. Med samstämmighet avser författarna därmed den medvetna didaktik som är en följd av att läraren examinerar kursplanemålen. Detta tolkar vi som en del av den pedagogiska grundsynen, dvs. att det relevanta är intentionen med undervisning och examination i förhållande till kursmål.

Modellen utvecklad av Anderson & Krathwohl m.fl. (2001) har två utgångspunkter, eller dimensioner[2]: kunskapsområde (knowledge dimension) och kognitiva processer (cognitive process dimension), vilka sedan i sin tur består av underkategorier (se tabell 1, 2 och 3 nedan). Kategorierna inom kunskapsområdet – Faktakunskap, Konceptkunskap, Procedurkunskap och Metakunskap – utgör ett vertikalt kontinuum från konkret (A) till abstrakt (D). Kategorierna inom de kognitiva processerna – Minnas, Förstå, Använda, Analysera, Utvärdera och Skapa – utgör ett horisontellt kontinuum från kognitivt enkelt (1) till kognitivt komplext (6).

Tabell 1 Blooms reviderade taxonomi (efter Stenlund 2006:11 och Pettersen 2008:278)

Vi har utgått från tidigare översättningar av modellen och jämfört dem med originalet. Som en följd av detta har vi valt att behålla sådana översättningar av kategorierna som vi anser tydliga, men även ändrat andra, när vi ansett det nödvändigt att förtydliga. I kategori A, Faktakunskap, ingår facktermer och vad de betyder, medan kategori B, Konceptkunskap[3], kräver att studenten exempelvis kan redogöra för olika teorier. Procedurkunskap – kategori C – kräver att studenten visar ämnesspecifika färdigheter. Den kanske mest självförklarande kategorin är kategori D, eftersom Metakunskap[4] förutsätter abstrakt och reflexivt tänkande, något som enligt Anderson & Krathwohl m.fl. (2001) är målet med högre utbildning.

Samtliga fyra kategorier inom kunskapsområdet innehåller även underkategorier (se tabell 2). Underkategorierna konkretiserar och preciserar de olika kunskapsområdena, och blir därmed en hjälp i analysarbetet.

Tabell 2 Konkretisering av kunskapsdimensionen i Blooms reviderade taxonomi (efter Pettersen 2008:278)

Även kategorierna för kognitiva processer har underkategorier (se tabell 3). Minnas (1) och känna igen facktermer är den första och mest grundläggande nivån på den kognitiva skalan, medan Förstå (2) är en kategori som kräver mer komplexitet, som till exempel tolka, klassificera och dra slutsatser. Kategori 3 – Använda – kräver att studenten kan tillämpa kursstoffet i både kända och okända sammanhang. De högre kategorierna Analysera, Utvärdera samt Skapa ställer alla krav på större självständighet hos studenten, genom att de förutsätter förmåga att förhålla sig till olika ståndpunkter, bedöma och själv producera.

Tabell 3 Konkretisering av den kognitiva dimensionen i Blooms reviderade taxonomi (efter Stenlund, 2006:9 och Pettersen 2008:279)

I litteraturen framhålls att nivåer som inkluderar förståelse och tillämpning är mer kognitivt krävande än enbart upprepning av fakta, dvs. motsvarigheten till nivå 1 här (jfr Gibbs 1999; Biggs 2003). Inte heller nivåerna Förstå och Använda anses dock vara särskilt kognitivt utmanande: de tre lägsta nivåerna i modellen återkommer i diskussionen om LOTS, dvs. low-order thinking skills, medan tre nivåerna Analysera, Utvärdera och Skapa ses som HOTS, dvs. high-order thinking skills (jfr Gibbs 1999; Biggs 2003). De senare nivåerna är därmed en förutsättning för att studenten utvecklar kritiskt och analytiskt tänkande, som ju ses som det slutliga målet med högre studier (se Trowald 1997; Blåsjö 2004; Palmer & Marra 2004; Hedin 2006; Ask 2007). Examinationer och kursmål inom de nivåerna ger därmed en tydligare förutsättning för utvecklingen av HOTS (jfr Blåsjö 2004; Ask 2007). Men utveckling från LOTS till HOTS sker inte automatiskt, utan förutsätter en medveten pedagogisk strategi i kursens upplägg, eftersom studier visar att HOTS endast uppnås om studenten fått stöd att utveckla detta (Blåsjö 2004). Ett sätt att göra detta är att arbeta med en kombination av formativ och summativ[5] bedömning och examination. De två formerna kan ses som olika vägar att utveckla förståelse och leda studenten till större oberoende: enligt Yorke (2003) kan summativ examination användas som ett test på detta, dvs. om studenten lärt sig genom formativ respons så bör hen klara det själv sedan.

Modellen ska förstås som en kumulativ hierarki, dvs. en högre kategori inom respektive dimension inkorporerar lägre kategorier. Anderson & Krathwohl m.fl. (2001:309) understryker dock att olika kategorier kan överlappa varandra och att modellen mer ska förstås som en logisk struktur än som en strikt hierarki. Enligt modellen är samstämmigheten hög när kunskapsområden och kognitiva processer överensstämmer mellan examinationsuppgifter och kursmål, dvs. när både mål och examination återfinns i en och samma cell (A1, B4 etc.). I annat fall är samstämmigheten låg.

3. Tidigare studier av samstämmighet

Att examinationer som speglar kursmål är en förutsättning för att kunna avgöra om studenten har uppnått målen (jfr bl.a. Anderson & Krathwohl m.fl. 2001; Martineau m.fl. 2007) betyder att en kurs måste planeras i sin helhet utifrån samstämmighetsaspekten. En genomtänkt pedagogisk strategi innebär därmed att upplägget av undervisningen måste utgå från målen i kursplanen, samt att examinationerna måste relatera till det behandlade kursstoffet. Men för att nå en maximal effekt av samstämmigheten måste även kollegiet gemensamt diskutera mål, examinationer och undervisning, och synen måste förmedlas till studenterna.

Vikten av kollegial samsyn går även igen i flera studier (jfr Popham 2000; Anderson & Krathwohl m.fl. 2001; Sadler 2003; Yorke 2003). Framför allt framhålls betydelsen av att kritiska begrepp (som ’kriterier’ och ’standards’) diskuteras kollegialt, inte minst eftersom en gemensam syn på dessa ökar sannolikheten att få till stånd en samsyn inte bara inom kollegiet, utan även mellan lärare och studenter. Ju utförligare begreppen definierats och diskuterats, desto troligare är det att de både presenteras och blir tydligare för studenterna (jfr dock Sadler 2003). Dessutom är den kollegiala samsynen avgörande för att samstämmighet ska kunna uppnås mellan kursmål och examinationer.

Utöver huvudkriterierna innehåll och kognitiv komplexitet (se ’kunskapsområden’ och ’kognitiva processer’ i tabell 1) är även kriterier som spridning och balans relevanta i samstämmighetsstudier (jfr bl.a. Webb 2002; Bhola m.fl. 2003; Näsström 2008). Spridningen avser i vilken utsträckning examinationer och kursmål samstämmer i en kurs och det enklaste sättet att visualisera det är att visa hur kursmål och examinationsuppgifter fördelar sig i kategorierna kunskapsområden och kognitiva processer. I de fall där kursmål och examination analyseras som tillhörande samma cell i modellen är det liten spridning, och således hög samstämmighet. På samma sätt kan man också se balansen som ett mått på var tyngden i kursmål respektive examinationer ligger, vilket också säger något om vad både styrdokument och lärare vill att studenten ska utveckla i fråga om kunskaper och förmågor. Tillsammans ger de fyra kriterierna – innehåll, kognitiv komplexitet, spridning och balans – därmed en möjlighet att arbeta kvalitativt med kursutveckling.

En intressant aspekt som lyfts i flera studier är bedömarnas subjektivitet och meningsskiljaktigheter (se t.ex. Bhola m.fl. 2003; Herman m.fl. 2007; Webb 2007). Olikheterna förklaras med att kursmål kan ha en för vag och vid beskrivning och att bedömarna tolkar analysmodellen olika beroende på ämnestraditioner och kulturer (Webb 2007). De olika tolkningsmöjligheterna leder till att ett kursmål kan analyseras som tillhörande flera av modellens celler, dvs. de kan vara multidimensionella, beroende på vem som gör analysen. I de studier som använder kvantitativa mätinstrument finns dock inte något sådant tolkningsutrymme. Istället tvingar instrumentet fram konsensus, dvs. målen måste vara endimensionella för att de statistiska beräkningarna ska kunna göras. Av de refererade studierna är det endast en (Näsström 2008) som diskuterar multidimensionalitet. Även hon utgår från den kvantitativa analysmodell som endast tillåter endimensionalitet, men till skillnad från de andra samstämmighetsstudier vi funnit diskuterar hon multidimensionalitet ur ett kritiskt perspektiv. Enligt henne innebär reducering av multidimensionella mål i syfte att kunna göra kvantitativa, statistiska beräkningar att kursmålen förenklas, eftersom det förutsätter att endast en av dess aspekter kommer till uttryck i analysen.

De samstämmighetsstudier vi funnit har i stort sett uteslutande analyserat naturvetenskapliga ämnen. En jämförelsebedömning gjord mellan matematik och engelska visar att samstämmighetsgraden mellan examinationsuppgifter och kursmål var betydligt högre i språk än i matematik (Lane 2010). I övrigt finns dock få samstämmighetsstudier gjorda på humanistiska ämnen.

4. Presentation av vår samstämmighetsstudie

Den kurs som undersökts är Svenska I – inriktning mot arbete i gymnasieskolan (hädanefter används kurskoden: 1SVÄ02) vid Linnéuniversitetets båda campus: Kalmar och Växjö. Kursen – som omfattar 30 högskolepoäng – utgör första terminen inom ämneslärarutbildningen i svenska och består av fyra delkurser[6]. I presentationen här är dock endast analysen av två av dem utvalda, som exempel på kurser som uppvisar hög samstämmighet (Retorik) respektive låg samstämmighet (Språksociologi). Utöver de delkursspecifika didaktiska målen finns kursövergripande didaktiska mål, som examineras genom fältstudier[7]. Även dessa kursövergripande mål finns med i den analys som presenteras här, men till skillnad från examinationerna och kursmålen inom delkurserna är inte de kursövergripande målen poänggivande. Det är alltså inte möjligt att rapportera in några poäng i Ladok.

Delkursen Retorik har som syfte att utveckla studentens muntliga och skriftliga förmåga, samt ge kunskaper om norm- och genrekrav inom olika språkliga situationer i och utanför skolan. Delkursen Språksociologi syftar till att tydliggöra ämneslärares uppdrag i dagens samhälle, genom att lyfta fram relationen mellan individens språkbruk och svenska språkets ställning i samhället. Språklig variation belyses utifrån begrepp som kön, etnicitet, ålder, sociokulturell bakgrund etc. för att sätta svenska språket i förhållande till det mångkulturella samhället.

4.1 Metod och material      

I undersökningen användes en kvalitativ forskningsstrategi som bygger på ett tolkande och kritiskt-analytiskt synsätt (Bryman 2002). Våra resultat är en följd av närläsning av kursdokument samt analys, jämförelse och diskussion utifrån den modell som presenteras i avsnitt 3.

Gemensamt för hela kursen 1SVÄ02 är att den har ett ämnesdidaktiskt perspektiv, dvs. samtliga delkurser innehåller ämnesdidaktiska examinationer och mål (se vidare avsnitt 5). Kursmålen består av två olika typer: de som vi ser som ämnesteoretiska och de som vi ser som ämnesdidaktiska. Båda typerna av kursmål är naturligtvis ämnesinriktade, men till skillnad från de ämnesteoretiska kursmålen – som ofta har ett innehåll som återfinns även inom andra delkurser i svenska språket – är de ämnesdidaktiska kursmålen specifika för lärarutbildningen. Vi har därför valt att särskilja de två typerna av kursmål.

Gemensamt för delkurserna Retorik och Språksociologi, samt de kursövergripande målen är att de examinerats genom löpande uppgifter (muntliga och skriftliga) och/eller seminarier. Samstämmighetsanalysen utgår från de kursmål som finns i kursplanen, samt de olika examinationsuppgifterna. Sammanlagt ingår 12 kursmål och 10 examinationsuppgifter, fördelade på följande sätt:

•  Retorik: 5 kursmål (varav 2 ämnesdidaktiska) och 5 uppgifter
•  Språksociologi: 5 kursmål (varav 1 ämnesdidaktiskt) och 3 uppgifter
•  kursövergripande: 2 kursmål (båda ämnesdidaktiska) och 2 uppgifter

Analysen utgår från det skriftliga material för kursmål och examinationer som studenten haft tillgång till inom ämneslärarprogrammets första termin under höstterminen 2013, dvs. kursplaner, studiemanualer[8] samt information om och anvisningar för examination. Därutöver är det troligt att studenterna fått muntlig information, men den har vi inte haft tillgång till och den ingår därför inte i materialet.

Den valda analysmodellen ger detaljerad information om underkategorierna, men det konkreta analysarbetet har inneburit överväganden om hur enskilda uttryck ska förstås och tolkas utifrån kontexten. Examinationsfrågor av typen exemplifiera har vi analyserat som tillhörande kategori 2, Förstå, eftersom det är ett sätt att illustrera ett begrepp eller ett koncept. Uppgifter som istället kräver att studenten tillämpar koncept eller begrepp har analyserats som tillhörande kategorin Använda. I kategorin Analysera återfinns sådana frågor som kräver att studenten särskiljer eller strukturerar kunskap. Kursmål och uppgifter som kräver att studenten exempelvis uppvisar kunskaper om lärares professionella skrivande eller som kräver att studenten ska hålla ett muntligt anförande inför klassen har vi bedömt efterfråga både avancerad kunskap och kritiskt tänkande, alltså både som Utvärdera och Skapa.

5. Resultat

I vår samstämmighetsanalys ligger fokus ligger på kunskapsområden och kognitiva processer, men även spridning och balans mellan kursmål och examinationer visualiseras.

De delar av analysen som presenteras här har medvetet valts ut för att exemplifiera tre olika typer av samstämmighet. Resultaten presenteras i tabellform, där kursmål markeras med fet stil och examinationer med kursiv stil. Under respektive tabell finns en översikt och presentation av både kursmål och uppgifter. I de fall där kursmål och examinationer ligger i samma cell, har vi bedömt samstämmigheten som hög.

5.1 Delkursen Retorik

Delkursen i retorik har – som tabell 4 visar – en mycket hög grad av samstämmighet mellan kursmål och examinationsformer. Än mer påtagligt är det faktum att det är en delkurs som genomgående ligger på de yttersta nivåerna vad gäller kognitiva processer. Samtliga examinationsuppgifter ställer nämligen krav på förmåga att utvärdera och/eller skapa.

Tabell 4 Översikt över kursmål och examinationer för delkursen Retorik
 

Kursmål 1: skriva ändamålsenliga och välstrukturerade sakprosatexter med olika mottagare.

Kursmål 2: använda retoriska modeller för muntlig och skriftlig produktion.

Kursmål 3: hålla muntliga framföranden i syfte att praktiskt öva för undervisningssituationer och använda IKT i den processen.

Kursmål 4: analysera olika typer av samtal i skolsituationen.

Kursmål 5: uppvisa kunskaper om lärares professionella skrivande.

Uppgift 1: muntlig uppgift – informerande text utifrån föreslagna teman (för- och nackdelar med pedagogiska hjälpmedel; myter om kroppsspråk etc.). Uppgiften genomförs och presenteras i grupp.

Uppgift 2: skriftlig paruppgift – skriva referat på given artikel.

Uppgift 3: individuell responsuppgift – individuella studentkommentarer på två skrivna texter som delges övriga studenter genom diskussionsforum.

Uppgift 4: skriftlig individuell uppgift – utredande text om retorik och språk i skolan, utifrån professionsperspektiv. Studenten ska även ge respons på någon annans text, samt få respons på sin egen.

Uppgift 5: muntlig individuell uppgift– argumenterande text utifrån ämnet som valts i uppgift 4.

En förklaring till de höga krav delkursen ställer på den kognitiva skalan är ämnets inneboende produktiva komponent, eftersom det är svårt att tänka sig en kurs i muntlig och skriftlig framställning som inte förutsätter att studenten själv producerar muntliga och skriftliga texter. Det leder även till att samtliga uppgifter har ett tydligt formativt inslag (jfr Biggs 2003; Yorke 2003), genom att studenten får respons och återkoppling på uppgifterna, med avsikt att hen ska kunna tillämpa kunskapen även i senare uppgifter.

En annan påtaglig aspekt är att fyra av fem kursmål ligger inom kunskapsområdet Metakunskap. Kursmål 1, 3, 4 och 5 kräver samtliga – om än på olika sätt – förståelse för och/eller anpassning till mottagaren, vilket måste ses som något som kräver metakunskap. Att majoriteten av kursmålen ligger inom detta kunskapsområde kan även det förklaras av ämnets inherenta fokus på textproduktion. Den höga graden av samstämmighet i delkursen innebär även låg spridning.

En ytterligare tänkbar förklaring till att delkursens mål ligger i de högre nivåerna av modellen skulle kunna vara att muntlig och skriftlig framställning är något som studenten redan har god erfarenhet av från tidigare skolår. Med andra ord finns det inom delkursen Retorik troligen en större möjlighet att bygga vidare på och utveckla studentens ämneskunskaper, jämfört med övriga delkurser. Förvisso bör universitetsstudenter ha tidigare erfarenheter och kunskaper även inom andra delar av svenskämnet, men eftersom den kommunikativa kompetensen tränas även inom övriga skolämnen är det inte förvånande om studenten har en mer etablerad kunskap inom praktisk retorik

Kursmål 2 – att använda retoriska modeller – kan även det naturligtvis leda till metakunskap. Formuleringen ”använda retoriska modeller” kräver att studenten tillämpar procedurer, men inte nödvändigtvis reflekterar över dem. Inom delkursen är examinationer som förutsätter skapande Procedurkunskap de mest förekommande: alla uppgifter utom en tillhör denna kategori. Den uppgift som inte ses som skapande är uppgift 3, för även om studenten där skriver ned sin respons är syftet med uppgiften som vi tolkar det inte primärt att träna den egna framställningen.

5.2 Delkursen Språksociologi

Till skillnad från delkursen Retorik uppvisar inte delkursen Språksociologi lika hög grad av samstämmighet mellan kursmål och examinationer. Som framgår av tabell 5 ligger examinationerna på högre nivåer både kognitivt och kunskapsmässigt än vad kursmålen gör. Det betyder även att spridningen är högre i denna delkurs än i den föregående.

Tabell 5 Översikt över examination och kursmål för delkursen Språksociologi

Kursmål 1: redogöra för grundläggande språksociologiska teorier och begrepp.

Kursmål 2: redogöra för svenskämnets historiska bakgrund.

Kursmål 3: beskriva relationen mellan språkbruk, samhälle, skola och individ.

Kursmål 4: redogöra för och ge exempel på hur olika språksociologiska faktorer som klass, kön och etnicitet påverkar svenskundervisningen i grund- och gymnasieskolan.

Kursmål 5: beskriva villkoren för språklig variation och förändring i Sverige.

Uppgift 1: litteraturseminarium med temat svenskämnets framväxt och historiska bakgrund.

Uppgift 2: muntlig presentation. Studenten håller en 10-minuters lektion utifrån ett givet tema.

Uppgift 3: miniuppsats. Studenterna skriver efter utförliga instruktioner en vetenskaplig uppsats av mindre format där de förväntas redovisa en begränsad empiri inom ämnesområdet. Studenterna får ingen handledning inför uppsatsskrivandet, dock diskuteras uppsatsens disposition vid flera seminarier.

Delkursen Språksociologi uppvisar den låg samstämmighet – av de undersökta delkurser i den tidigare samstämmighetsstudien (där även delkurserna Grammatik och Språkhistoria ingår) är samstämmigheten lägst i Språksociologi. Både kursmål och examinationsuppgifter är multidimensionella – till exempel återfinns kursmål 2 inom såväl Fakta- och Konceptkunskap som inom Metakunskap. Anledningen till den kategoriseringen är formuleringen redogöra för, som kräver adekvat terminologi, men där det inte är tydligt att kursmålet ställer krav på högre kompetens. Hela målformuleringen visar dock på högre krav både kognitivt och kunskapsmässigt, eftersom det där blir tydligt att målet innehåller både jämförande och analyserande komponenter.

Den uppgift som examinerar kursmål 2 är ett litteraturseminarium (Uppgift 1), där studenterna uppmanas att förhålla sig kritiskt till kurslitteraturen. Uppgiften analyseras därför motsvara kategorierna Analysera och Utvärdera, eftersom den kräver ett kritiskt-analytiskt perspektiv (jfr Palmer & Marra 2004). Sett till kognitiva processer skulle kursmål 2 även kunna analyseras som Förstå, med tanke på att det förutsätter förståelse för ämnesområdet.

Återkommande formuleringar i målen är redogöra för och beskriva, vilket i modellens termer kan ses som lågt ställda kognitiva krav. Vi har dock kategoriserat dem som tillhörande högre nivåer, eftersom vi sett till hela målformuleringen. Uttryck som relation mellan, villkor för och faktorer anser vi visar att målen ställer högre krav på kognitiv förmåga. De uppgifter som examinerar dessa mål är att studenterna planerar och genomför en lektion som omfattar 10 minuter utifrån ett angivet tema samt skriver en kort vetenskaplig uppsats. Båda uppgifterna kräver planering, urvalsprocesser och integrering av kursstoff som sedan presenteras muntligt eller skriftligt. I båda uppgifterna får studenten skriftliga instruktioner om formalia, dels avseende hur akademiska texter ser ut, dels avseende vad man bör tänka på vid muntliga presentationer. Studenten får därmed stöd att utveckla sina procedurkunskaper i hur man skriver en vetenskaplig uppsats. Vad gäller lektionsgenomförandet saknas dock instruktioner om hur man lägger upp en lektion – studenten förväntas kunna genomföra uppgiften baserat på sin tidigare erfarenhet som elev. Därmed skiljer sig uppgifterna åt i det stöd studenten får inför genomförandet. Gemensamt för de båda uppgifterna är dock att de har en klar formativ aspekt, genom att studenten får återkoppling – skriftligt för uppsatsen och muntligt för lektionen. Både i delkursen Retorik och i delkursen Språksociologi är därmed det formativa inslaget tydligt.

Trots multidimensionalitet och spridning är kursmålen, i stort sett, lagda på en lägre nivå än vad examinationsuppgifterna kräver. Dessutom är det ämnesdidaktiska målet (kursmål 4) mycket allmänt skrivet. Som det nu är formulerat skulle studenterna lika gärna kunna examineras enbart teoretiskt, utan någon egentlig ämnesdidaktisk vinkel, vilket knappast är avsikten.

5.3 Kursövergripande mål

De kursövergripande målen examineras genom två fältstudier. Inför fältstudierna får studenterna instruktioner som underlag, och dessa diskuteras senare under ett seminarium. I tabell 6 redovisas de två målen och de två examinationerna, och som synes är det stor spridning mellan dem.

Tabell 6 Översikt över kursmål och examinationer för de kursövergripande målen

Kursmål 1: urskilja och redogöra för grundläggande drag i lärarprofessionen i förhållande till ämnet och ämnets didaktik.

Kursmål 2: identifiera och formulera ämnesdidaktiska frågeställningar i relation till de verksamhetsområden utbildningen förbereder för.

Uppgift 1: fältstudie, där studenten ska observera och dokumentera en svensklärares arbetsdag. Arbetet presenteras vid ett uppföljande seminarium.

Uppgift 2: fältstudie, där studenten ska analysera kommunikationen under en lärarledd lektion. Arbetet presenteras vid ett uppföljande seminarium.

Den första uppgiften, dvs. att redogöra för de faktiska aktiviteter en lärare i svenska gör under en arbetsdag, har vi placerat i fältet Förstå. Det är främst användning av formuleringarna urskilja och redogöra för som är anledningen till detta, eftersom de inte signalerar att det krävs en analys. Det är alltså möjligt att uppgiften leder till att studenten gör en analys, men det är svårt att se att det är ett krav för att uppgiften ska anses slutförd.

Uppgift 2 ser vi däremot som både Analysera inom Konceptkunskap och som Utvärdera inom Metakunskap. Uppgiften kräver dels att studenten har tillgång till en begreppsapparat i sin analys av kommunikationen, dels att studenten gör en bedömning av den kommunikation som används, vilket måste ses som metakunskap.

Båda kursmålen ligger således inom området Metakunskap, men kräver olika kognitiva processer. Gemensamt för dem är dock att processerna ligger i den övre delen av modellen, och därmed ställer högre krav på kritiskt-reflexivt tänkande (jfr Blåsjö 2004; Ask 2007). Men de kraven motsvaras inte fullt ut av examinationsuppgifterna, eftersom uppgift 1 – att observera och dokumentera – inte kräver några högre kognitiva processer. Ingen av uppgifterna analyseras som tillhörande kategorin Skapa, vilket betyder att kursmål 2 enligt oss inte kan anses examineras genom uppgifterna. Överlag uppvisar analysen av de kursövergripande målen både multidimensionalitet och hög spridning, vilket beror på en obalans mellan de eftersträvade målen och sättet som de examineras på.

6. Diskussion

Den modell som vi prövat i vår samstämmighetsstudie har flera fördelar. Den bygger på en tydlig – och numera väl etablerad – taxonomi, och är även detaljerad vad gäller de olika underkategorierna, vilket underlättar det konkreta analysarbetet. Visualiseringen ska inte heller underskattas, eftersom den på ett enkelt sätt ger möjlighet att se hur delarna som analyseras samstämmer. Samtidigt finns en risk att visualiseringen gör en alltför grov förenkling, eftersom alla aspekter som är relevanta naturligtvis inte kan uttryckas i tabellform, vilket vår analys också visat.

I det resultat som presenteras i denna text finns det tydliga skillnader i graden av samstämmighet. Delkursen Retorik är ett exempel på hög samstämmighet, vilket visualiseras genom att kursmål och examinationer återfinns i samma celler. Det är inte någon hundraprocentig samstämmighet, men samtliga uppgifter och mål återfinns bland de högre kognitiva processerna och det finns en klar tyngdpunkt mot procedur- och metakunskap. De två andra undersökta delarna – delkursen Språksociologi och de kursövergripande målen – uppvisar inte samma tydliga samstämmighet, även om det även där finns vissa delar som samstämmer. I delkursen Språksociologi ligger examinationerna på högre kognitiva och kunskapsmässiga nivåer än vad kursmålen gör. I analysen av de kursövergripande målen är bilden den omvända, för där ligger kursmålen högre än vad examinationerna gör.

En jämförande analys av delkursen Språksociologi och de kursövergripande målen visar en avgörande skillnad: om examinationerna ligger på högre nivåer än kursmålen uppfyller kursen sitt syfte, eftersom målen de facto examineras. Däremot kan naturligtvis diskussioner föras om lämpligheten i att samstämmigheten blir låg, och på vilket sätt skevheten kan justeras. Enligt oss är det lämpligare att kursmålen justeras upp än att examinationskraven sänks, för att delkursen på ett tydligare sätt ska närma sig HOTS. Ett sätt att stärka kursmålen i delkursen Språksociologi kunde t.ex. vara att utveckla och förtydliga det ämnesdidaktiska målet.

De kursövergripande målen utgör sin egen utmaning, inte enbart för att samstämmigheten är låg. Examinationsuppgifterna ligger i vår analys på lägre nivåer än kursmålen, vilket betyder att de kognitiva processerna och kunskapsmålen inte uppnås. Samtidigt är det osäkert vilken formell status de kursövergripande målen har: det är tydligt att avsikten är att de ska genomsyra utbildningen, och att de är viktiga eftersom de understryker utbildningens ämnesdidaktiska inriktning. De har därför sina egna examinationer, men dessa har inte några högskolepoäng kopplade till sig, vilket i realiteten bör betyda att en student kan välja att inte göra examinationen, men ändå få ut 30 högskolepoäng inom ramen för 1SVÄ02 (under förutsättning att delkurserna examineras). En lösning skulle kunna vara att de kursövergripande målen istället införlivas i de befintliga delkurserna, vilket skulle förankra dem tydligare både i utbildningen och i betygsrapporteringen.

I vår samstämmighetsstudie har vi gjort en kvalitativ analys, vilket skiljer sig från de tidigare studier vi tagit del av (bl.a. Webb 2002; Bhola m.fl. 2003; Stenlund 2006; Näsström 2008). Som en följd av vår kvalitativa ansats har vi även tillåtit multidimensionalitet, dvs. vi har inte haft för avsikt att ett enskilt kursmål eller en enskild examination endast får finnas i en av tabellens celler. I tidigare studier förklaras multidimensionalitet åtminstone delvis som en följd av att analysen kan skilja sig mellan olika bedömare, och att konsensus – vilket i det avseendet blir synonymt med endimensionalitet – sedan uppnås genom diskussion. En viktig skillnad i vår analys är att multidimensionaliteten inte är en effekt av att vi varit två personer som arbetat med analysen. Vi har naturligtvis i vissa avseenden haft skilda uppfattningar om hur kursmål eller examinationer ska analyseras, men det har diskuterats direkt, och konsensus nåtts. I vår analys beror multidimensionaliteten istället på att vi gemensamt gjort olika tolkningar av ett och samma uttryckssätt beroende på om analysen endast görs utifrån de verb som används i formuleringarna (redogör för, beskriv, analysera etc.) eller om analysen även tar hänsyn till den omkringliggande kontexten. Av den anledningen kan ett och samma verb analyseras som tillhörande olika dimensioner, både vad gäller kunskapsområde och kognitiva processer, som i exemplen nedan.

redogöra för grundläggande språksociologiska teorier och begrepp

(analyserat som B2, dvs. Konceptkunskap och Förstå)

redogöra för och ge exempel på hur olika språksociologiska faktorer som klass, kön och etnicitet påverkar svenskundervisningen i grund- och gymnasieskolan

(analyserat som D5, dvs. Metakunskap och Utvärdera)

Vi menar att ett kvalitativt anslag i analysen har fördelen att relationen mellan text (eller enskilt språkligt uttryck) och kontext (eller sammanvägd tolkning av formuleringen som helhet) blir tydligare. Vi ser inte heller något problem med att analysen därmed även blir multidimensionell, för om målet med analysen är utvecklings- och kvalitetsarbete bör fördelarna med en mer sammansatt analys överväga. Huruvida den valda modellen egentligen lägger någon värdering i frågan är oklart, men tydligt är att de flesta studier som gjorts har varit kvantitativa, och därmed endimensionella.

Kontextens betydelse har i vår analys således stor betydelse för hur enskilda kursmål och examinationsuppgifter uppfattas och därmed klassificeras. Speciellt kategorin Förstå har visat sig vara svår att tillämpa utan tillgång till kontexten, eftersom att förstå, i betydelsen ’begripa’ kan ses som en del av högre kognitiva kompetenser. Att strikt utgå från de enskilda verb som anges i modellen räcker därmed inte. På samma sätt utgör fakta- och konceptkunskaper en inherent del av alla kursmål, och det är därför inte förvånande att vissa kursmål också analyseras som tillhörande flera kategorier i modellen.

Vi menar alltså att multidimensionalitet bör ses som en styrka, både vad gäller kursmål och examinationer. Däremot är det naturligtvis inte eftersträvansvärt med spridning, eftersom det kan leda till obalans mellan mål och examinationer. I en modell som tar hänsyn till både kognitiva processer och kunskapsområden, och där båda dimensionerna ses som kumulativa, blir det missvisande att i analysen tvingas uppnå konsensus i betydelsen att ett mål eller en examinationsuppgift endast får finnas i en kategori (Näsström 2008). Både enskilda mål och enskilda examinationer kan kräva olika kognitiva nivåer inom olika kunskapsområden, vilket leder till att multidimensionaliteten istället bör ses som en förutsättning för en nyanserad förståelse. En alltför begränsande analys av mål och examinationer kan leda till fragmentarisk och osammanhängande kunskap, vilket snarare får en negativ effekt på utbildningens kvalitet. I fallet med delkursen Språksociologi visade vår analys att examinationskraven var högre än kursmålen på grund av en inbyggd inkongruens mellan formulering av kognitiva krav – vilket syns i de verb som används (beskriv och redogör för) – och det omfattande ämnesinnehåll som finns i kursmålet i övrigt. Detta får till följd att läraren måste överväga vilken kognitiv nivå uppgifterna ska ligga på. Val av kognitiv nivå på examinationer förekommer i alla kurser, men blir mer påtagligt i de fall där målformuleringarna är mindre tydliga. En ytterligare styrka som vi ser med kvalitativ analys av samstämmighet är att den kumulativa funktionen hos multidimensionella mål tydliggörs.

Vi ser vår undersökning som ett tecken på att kvalitativa samstämmighetsstudier som bygger på djupanalyser av modellens kategorier, men där hänsyn tas till kontexten, kan bidra till att stärka kvalitetsarbetet med en utbildning. Inom kvantitativa studier underkänns multidimensionella mål, medan vår kvalitativa analys snarare pekar på att det är i resonemangen utifrån det multidimensionella som man kan få en fördjupad förståelse för hur kursmål och examinationer kan ses i relation till kognitiva förmågor och kunskapsområden. Det är möjligt att det finns en skillnad mellan hur olika discipliner förhåller sig till detta, men åtminstone för humanistiska ämnen ställer vi oss frågande till huruvida kvantitativa samstämmighetsstudier bidrar till ökad förståelse och kvalitet. Enligt oss är det svårt att se hur humanistiska ämnen kan analyseras på samma sätt som till exempel matematik (jfr Lane 2010).

En ytterligare fråga som uppkommit under arbetet med analysen är diskussionen om vad lärarens – men även kursplanens och kollegiets – intention är med verb som beskriva, redovisa och redogöra för som ofta återkommer i formuleringen av både kursmål och examinationsuppgifter. Analysen har visat att de har olika innebörder, beroende på den kontext där de förekommer. Om dessa verb har olika innebörd beroende på den kontext de förekommer i är det svårt att veta om examinationen verkligen mäter målen och om studenten förstått dem.

Utöver de metodologiska frågor som uppstått i samband med arbetet har vi även funderat över relationen mellan kvalitet och samstämmighet. Klart är att det inte råder något ett-till-ett-förhållande mellan de två: en kurs där samtliga kursmål och examinationer ligger i cellen A1 (dvs. Faktakunskap och Minnas) uppvisar hög grad av samstämmighet, men kommer att vara en kurs med lågt ställda förväntningar på lärande och förmåga. Hög samstämmighet inom en delkurs borgar därför inte automatiskt för att kvaliteten är god. Däremot ser vi det omvända som sant: god kvalitet kräver hög grad av samstämmighet, under förutsättning att det är samstämmighet inom de högre nivåerna i modellen. Styrkan i modellen blir därför att den ger möjlighet att synlig- och tydliggöra dels vilka delar som är samstämmiga och inte, dels på vilken kognitiv och kunskapsmässig nivå kraven ligger. På det sättet blir modellen ett redskap för att arbeta kvalitativt med kursutveckling.

En annan intressant aspekt är att till skillnad från Anderson & Krathwohl m.fl. (2001) och Näsström (2008) visar vår analys att examinationskraven inom de studerade delkurserna överlag är höga och att intentionen med kursen är att studenten ska utveckla ett vetenskapligt förhållningssätt förknippat med högre kognitiva förmågor (HOTS): analys, utvärdering och skapande (jfr Blåsjö 2004; Ask 2007). Det råder därmed en balans mellan lärarens intention med examinationen och det vetenskapliga förhållningssätt som genomsyrar högre utbildning. Samtidigt kan man också ställa sig frågan om inte kursmålen på de respektive delkurserna behöver revideras, så att de närmar sig de kognitiva processer och kunskapsområden som redan examineras.

Något som man dock kan ta i beaktande är att kursmål som ställer höga krav även kräver tydliga instruktioner och genomtänkt och välplanerad handledning om man vill att studenterna ska utveckla kritiskt tänkande (Blåsjö 2004; Palmer & Marra 2004; Ask 2007). Att examinationen görs löpande genom uppgifter innebär inte heller att den automatiskt innehåller formativa moment (Yorke 2003).

Den genomförda undersökningen har begränsats till analys av samstämmighet mellan kursmål och examinationer i respektive delkurs. Den undervisning som ingår i delkurserna är naturligtvis en viktig faktor, som hade kunnat påverka resultatet. För en mer fullständig bild av en utbildning krävs därmed att samstämmighet ses ur ett vidare perspektiv. Vår undersökning av den kursinterna samstämmigheten (Martineau m.fl. 2007) kan därmed kompletteras med analyser av ytterligare faktorer.

Utöver kursintern samstämmighet är den kursövergripande samstämmigheten avgörande för en utbildnings kvalitet. Den aspekten träder delvis fram i vår tidigare samstämmighetsanalys, där samtliga ingående delkurser i 1SVÄ02 ingår. Men till den kursövergripande samstämmigheten hör även relationen mellan de olika kurser som ingår i en utbildning, dvs. där 1SVÄ02 endast utgör en termin av en längre utbildning. En fördel som vi ser med den valda analysmodellen är att den bör kunna användas även för större sammanhang, så en kvalitativ samstämmighetsstudie av ämneslärarutbildningen i sin helhet ser vi som en intressant framtida studie. Framför allt för att fånga progression och professionsinriktning är det viktigt att diskussioner om kvalitet och samstämmighet förs på den övergripande nivån.

Slutligen finns det även en strukturell nivå för samstämmigheten, i så måtto att det finns en relation mellan kursens delar och den bedömning som görs av studenten. Även relationen mellan de lokala kursmålen och de nationella målen hör till den strukturella nivån, vilket inte är en del av den undersökning som gjorts. Inte heller bedömningen som sådan ingår i materialet, men under analysarbetet blev det tydligt att kursmål – om än aldrig så tydligt formulerade – som examineras, men som inte relateras till högskolepoäng, blir en strukturell svårighet. Det är vår fasta övertygelse att det inte räcker att examination och kursmål uppvisar samstämmighet: de examinerade kursmålen måste även korrelera med betygsinrapportering.

7. Referenser

Anderson, L.W. (Ed.), Krathwohl, D.R. (Ed.), Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., & Wittrock, M.C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives (Complete edition). New York: Longman.

Ask, S. (2007). Vägar till ett akademiskt skriftspråk. Diss. Växjö University Press.

Bhola, D. S., Impara, J. C. & Buckendahl, C. W. (2003): Aligning test with states’ content standards: Methods and issues. Educational Measurement: Issues and Practice 22:3, s. 21–29.

Biggs, J. (2003). Teaching for quality learning at university: what the student does. (2nd ed). London: The Society for Research into Higher Education & Open University Press.

Blåsjö, M. (2004). Studenters skrivande i två kunskapsbyggande miljöer. Stockholms Universitet.

Bryman, A. (2002). Samhällsvetenskapliga metoder. Allan Bryman och Liber AB.

Gibbs, G. (1999). Using assessment strategically to change the way students learn. In S. Brown & A. Glasner (eds.): Assessment Matters in Higher Education: Choosing and Using Diverse Approaches. Buckingham: SRHE/Open University Press.

Hedin, A. (2006). Lärande på hög nivå: idéer från studenter, lärare och pedagogisk forskning som stöd för utveckling av universitetsundervisning. Uppsala universitet: Avdelningen för utveckling av pedagogik och interaktivt lärande (UPI).

Herman, J. L., Webb, N. M., & Zuniga, S. A. (2007). Measurement issues in the alignment of standards and assessments: A case study. Applied Measurement in Education 20:1, s. 101–126.

Hult, H. (1998). Examinationen och lärandet: en översikt, analys och värdering av examinationens roll inom högre utbildning. Linköpings universitet: Centrum för universitetspedagogik.

Lane, S. (2010). Evaluation of the Alignment between PA Academic Standards and the Common Core Standards. University of Pittsburgh.

Martineau, J., Paek, P., Keene, J., & Hirsch, T. (2007). Integrated, comprehensive alignment as a foundation for measuring student progression. Educational Measurement: Issues and Practice 26:1, s. 28–35.

Marton, F., Dahlgren, L-O., Svensson, L. & Säljö, R. (1977). Inlärning och omvärldsuppfattning. Stockholm: Prisma.

Näsström, G. (2008). Measurement of alignment between standards and assessment. Umeå: Umeå universitet.

Näsström, G., Alger, S., Sundström, A. (2011). Samstämmighet mellan kursplan och prov: en studie av kunskapsprovet för körkortsbehörighet AM. Umeå universitet: Rapporter från Institutionen för beteendevetenskapliga mätningar, nr 47.

Palmer, B. & Marra, R.M. (2004). College student epistemological perspectives across knowledge domains: A proposed grounded theory. Higher Education 47:3, s. 311–335.

Pettersen, R.C. (2008). Kvalitetslärande i högre utbildning. Introduktion till problem- och praktikbaserad didaktik. Lund: Studentlitteratur.

Popham, W. J. (2000). Assessing mastery of wish-list content standards. NASSP Bulletin, 84(30), s. 30–36.

Sadler, P. (2003). Stra­tegic Ma­na­gement. 2nd Ed. London: Kogan Page.

Stenlund, T. (2006). Modellprövning: Empirisk prövning av teoretiska modeller för beskrivning av kursplan för förarutbildning (BVM nr. 21). Umeå: Institutionen för Beteendevetenskapliga mätningar, Umeå universitet.

Trowald, N. (1997). Råd och idéer för examinationen inom högskolan. Högskoleverkets skriftserie 1997:14 R.

Webb, N. L. (2002). An analysis of the alignment between mathematics standards and assessments for three states. Paper presented at the annual meeting of the American Educational Research Association, April 1-5, in New Orleans, USA.

Webb, N. L. (2007). Issues related to judging the alignment of curriculum standards and assessments. Applied Measurement in Education 20:1, s. 7–25.

Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher Education 45:4, s. 477–501.