Sprogtestning og evaluering
Forskning inden for sprogtestning og -evaluering fokuserer primært på udvikling og vedligeholdelse af lokale sprogtests og -evalueringsværktøjer som er forankret i specifikke kontekster. Som en central del af denne forskning undersøger vi de lokale eksperters rolle (såsom undervisere) og udforsker, hvilken rolle lokale variable spiller (såsom kontekst, politikker, sproglig baggrund).
Forskningsområder
Vores forskning inden for sprogtestning og -evaluering fokuserer både på design og udvikling af bedømmelsesskalaer og –instrumenter, såvel som på analyse af bedømmelsestræning (kaldet "rater training"). Desuden indgår analyse af, hvordan præstationsorienterede evalueringer af andetsprogskommunikation udføres i praksis. Kompetencer inden for sprogevaluering udgør således kernen i vores forskningsinteresser.
Som en del af vores forskningsaktiviteter undersøger vi desuden, hvordan brug af sprogtests og -evalueringer kan forstås som sprogpolitiske instrumenter og som redskaber for internationalisering på videregående uddannelser. Vi udforsker forskellige aktørers brug af sprogtests i forskellige uddannelses- og samfundsmæssige kontekster, samt konsekvenserne heraf.
En stor del af vores forskning behandler udviklingen og godkendelsen af en test i mundtlig sprogfærdighed i engelsk, der certificerer universitetsundervisere til at undervise på engelsk (EMI), kaldet TOEPAS. Forskningsteamet har stor erfaring inden for arbejde med testdesign og –udvikling, såsom med at designe og oprette testbeskrivelser og med analyse af tests.
Overenstemmelse af TOPEAS-niveauer med CEFR-skalaen
Projektet "TAEC" blev finansieret af ERASMUS+ (2017-2020).
Formålet med dette projekt var at forbinde TOEPAS (Test of Oral English Proficiency for Academic Staff) og CEFR (Common European Framework of Reference) for dermed at forøge TOEPAS’ resultatgennemsigtighed og gøre denne mere anvendelig på tværs af institutioner og nationer.
Forbindelsesproceduren fulgte de metoder og aktiviteter der er beskrevet i manualen Relating Language Examinations to CEFR, som er udgivet af Europarådet (2009). I overensstemmelse med denne manual indsattes et internationalt panel med 12 dommere, og proceduren inddeltes i fire særskilte stadier: Fortroliggørelse, specificering, standardisering og godkendelse. Denne procedure gjorde det muligt at fremlægge empirisk evidens til fastsættelse af et minimumsniveau for underviseres engelske sprogfærdigheder, når det drejer sig om undervisning på engelsk (EMI).
Du kan læse mere om dette på projektets hjemmeside.
Sprogunderviseres sprogevalueringskompetencer
Finansieret af det Nationale Center for Fremmedsprog (NCFF) (2020-2022)
Dette projekts overordnede mål er at kortlægge sprogunderviseres sprogevalueringskompetencer (language assessment literacy, LAL) på folkeskole- og gymnasieniveau. Kontinuerlig formativ evaluering udgør kernen af dansk uddannelse, hvor undervisere har ansvar for at føre tilsyn med elevers uddannelsesmæssige fremskridt og præstationer i overensstemmelse med de fælles læringsmål. Sprogunderviseres LAL-niveau spiller en vigtig rolle i opretholdelsen af troværdig og gyldig evaluering, idet sådanne undervisere har et stort ansvar for at administrere, anvende og formidle resultater fra både nationale evalueringer og evalueringer i klasseværelset. LAL omhandler den viden aktører nødvendigvis må have for at deltage i sprogevalueringspraksisser.
Som en del af udviklingen og vedligeholdelsen af TOEPAS udfører vi regelmæssigt analyser, der er baseret på klassisk testteori og Rasch. Blandt andet foretager vi analyser af testskalaer, bedømmere og testtageres adfærd, samt hvordan gruppering og standarder fastsættes.
De fremgangsmåder, som vi benytter til at analysere både evalueringers følgevirkninger, aktørers opfattelse, samt bedømmerens tankegang, består af blandede metoder samt casestudies.
CIP’s forskere har deltaget i forskning og konsulentarbejde vedrørende testudvikling og implementeringsprojekter. Som eksempler på dette kan nævnes udviklingsanalyse af fremmedsprogstests for yngre danske skoleelever, udvikling og analyse af testelementer af folkeskolens afgangsprøver i fremmedsprog for 9. og 10. klasse, samt analyse af en niveaudelingsprøve for gymnasielever, der taler dansk som andetsprog.
Vi udfører konsulentarbejde inden for udvikling og implementering af lokale redskaber til certificering af lektorer, hvis undervisning foregår på engelsk på ikke-engelsksprogede universiteter. Vores team har desuden samarbejdet med Université de Nantes i forbindelse med oprettelsen af et TOEPAS-testcenter for undervisere.
Vi tror på, at det i udviklingen, implementeringen og godkendelsen af tests er yderst vigtigt at inddrage flere forskellige aktører (såsom ledelse, administratorer, undervisere, studerende) for at dermed at kunne sikre en etablering af evalueringspraksisser, der både er etiske, gyldige og velbegrundede. Derfor indgår vi gerne i forskningssamarbejde inden for alle områder af sprogevaluering.
Dimova, S., Yan, X., & Ginther, A. (2020). Local Language Testing: Design, Implementation, and Development. Oxon: Routledge. https://www.routledge.com/Local-Language-Testing-Design-Implementation-and-Development/Dimova-Yan-Ginther/p/book/9781138588493
Dimova, S. (2020). Language Assessment of EMI Content Teachers: What Norms. In M. Kuteeva, K. Kaufhold, & N. Hynninen (Eds.), Language Perceptions and Practices in Multilingual Universities (pp. 351-378). Cham: Palgrave Macmillan.
Dimova, S., & Kling, J. (2018). Assessing English-Medium Instruction Lecturer Language Proficiency Across Disciplines. TESOL Quarterly, 52(3), 634-656.
https://doi.org/10.1002/tesq.454
Dimova, S. (2017). Life after oral English certification: The consequences of the Test of Oral English Proficiency for Academic Staff for EMI lecturers. English for Specific Purposes, 46, 45-58. https://doi.org/10.1016/j.esp.2016.12.004
Dimova, S. (2017). Pronunciation Assessment in the Context of World Englishes. In O. Kang, & A. Ginther (Eds.), Assessment in Second Language Pronunciation (pp. 49-66). New York: Routledge.
