Der findes forskellige typer af AI-systemer der kan understøtte forskellige aspekter af skriveprocesserne. Godwin-Jones (2022) skelner mellem værktøjer der giver feedback på et tekstudkast. Dette kaldes for Automatic writing evaluation-værktøjer (AWE). Der er også Automatic written corrective feedback-værktøjer (AWCF). Disse giver løbende feedback på fx stavning. Derudover er der oversættelsesværktøjer samt tekstgenereringsværktøjer som genererer tekster ud fra prompts.
Jeg har gennemgået nogle perspektiver på brugen af AI til idégenerering her som jo åbenlyst især er centralt i starten af en undersøgelse, og Zhao, Sbaffi & Cox (2023) forklarer at oversættelsesværktøjer samt tekstgenereringsværktøjer kan være relevante at inddrage i forskellige dele af skriveprocessen, mens de anser feedback- og korrekturværktøjer som mest relevante i slutningen af skriveprocessen som typisk involverer et fokus på sproglige korrektur og tekstforbedring.
AI integreres i større og større omfang i skriveprogrammer og interfaces vi i forvejen anvender til at producere tekst med. Her gennemgås nogle af måderne AI inddrages i akademiske skriveprocesser. Jeg kommer ikke ind på brugen af AI-systemer til tekstproduktion som sådan, men se fx Amirjalili, Neysani & Nikbakht's (2024) studie af forskelle mellem hvordan forfatterskab og stemme markeres sprogligt i en tekst genereret af AI (GPT-4) og en studerende.
Som studerende og forsker skal man være opmærksom på at der kan være forskellige regler og retningslinjer for brug af AI afhængigt af formålet. Se også Maria Fonsecas indlæg om hvad man skal være opmærksom på.
Google Translate begyndte i 2016 at anvende maskinlæringsteknikker hvilket har øget hastigheden og præcisionen (Godwin-Jones, R. (2022: 10)). AI-assisterede oversættelsesværktøjer fremhæves idet de kan effektivisere skriveprocesser (Chen (2023)), men der vil være forskellige resultater afhængigt af sprog, dvs. det materiale systemet er trænet på og hvordan det er trænet. Det bør man være opmærksom på når man vælger en AI-teknologi til at assistere i alle dele af skriveprocessen.
Til brug til oversættelse nævner Chen (2023) ud over en teknologi til kinesisk:
Chens (2023) liste er ikke udtømmende, og der er nu indbygget en oversættelsesfunktionalitet i skriveprogrammer som Word (søg efter ’Translate Document’ eller ’Translate Section’ i Word). Chen (2023) foreslår at man afprøver hvert værktøj på et stykke tekst, sammenligner og vælger det værktøj og (en modificeret version af) det oversatte tekst som fungerer bedst til ens formål.
Den oversatte tekst må forventes at skulle redigeres bagefter, blandt andet fordi oversættelse bygget på maskinlæring ikke i tilstrækkelig grad kan tage hensyn til sproglige nuancer og konkrete kontekstuelle faktorer såsom anvendelse af specifik fagterminologi, målgruppe, afsenderstemme m.m. (Godwin-Jones (2022)).
Flere undersøgelser viser at brugen af AI-værktøjer potentielt kan forbedre kvaliteten af en tekst i forhold til dens overordnede struktur (Khalifa, M., & Albadawy, M. (2024); Song & Song (2023)). Fx kan man prompte AI-systemer til at generere en disposition og dermed bidrage til at sikre en logisk udfoldelse af et argument og at skabe sammenhæng. Det påpeges at det især er hjælpsomt når man laver gennemgange af eksisterende litteratur på et område. For at understøtte sådan en proces kan man dykke ned i hvordan man prompter effektivt, og man kan konsultere AI-assistenten i Scite. Jamie Cullican nævner her nogle fordele ved at bruge AI til at strukturere tekst og foreslår tre værktøjer, nemlig copy.ai (særligt til marketing), Grammarly og Scrivener (særligt til forfattere og forskere) til formålet.
AI-værktøjer fremhæves også som hjælpemiddel til at lave udkast til resuméer og abstracts (Khalifa & Albadawy 2024). Men tidligere undersøgelser af AI-generede abstracts til videnskabelige artikler og responser på prompts der instruerer en AI-teknologi om at opsummere viden, viser at AI-genereret tekst indeholder mange indholdsmæssige fejl og manglende eller forkert anvendelse af kilder.
Gao et al. (2022) lavede et eksperiment hvor de instruerede ChatGPT i at generere abstracts alene på baggrund af en artikels titel og udgivelsessted med promptet: ‘Please write a scientific abstract for the article [title] in the style of [journal] at [link]’ (Gao et al. 2022). Selvom der er et link til tidsskriftet, kunne ChatGPT på tidspunktet hvor undersøgelsen blev lavet, ikke browse internettet, så viden om selve artiklens indhold eller tidsskriftets formelle krav til opsætning af abstractet kunne ikke tilgås ad den vej. Gao et al. (2022) fik genereret 50 abstracts til artikler udgivet i fem sundhedsfaglige tidsskrifter, og de fandt at abstractene fungerede sprogligt, havde relevante temaer og udpegede emnespecifikke (men fabrikerede!) datagrundlag. De fandt også at teksterne sjældent levede op til kravene til opsætning og struktur som de pågældende tidsskrifter har.
De 50 AI-fabrikerede abstracts blev også sammenlignet med de 50 originale abstracts. En AI-outputdetektor kunne i de fleste tilfælde udpege de abstracts der var AI-genereret. Tallet var lavere for et antal bedømmere der blev bedt om det samme. De identificerede korrekt 68 % af de AI-generede abstracts og 86 % af de originale abstracts. Den overordnede forskel der blev bemærket, var at de AI-generede abstracts var overfladiske og vage, og at de originale abtracts inkluderede flere detaljer og særtræk (Gao et al. 2022).
Semrl et al (2023) lavede også et eksperiment. De udvalgte videnskabelige artikler fra tidsskriftet Human Reproduction som ikke var i ChatGPT’s database. Fra disse artikler udtrak de artiklernes undersøgelsesspørgsmål og svar på disse. De sammenlignede så de faktiske svar med svar genereret af ChatGPT hvor de indsatte selve undersøgelsesspørgsmålet og instruerede ChatGPT at give et svar: ‘ *study question*. Please answer in less than 40 words' (Semrl et al. 2023: 2282). Analyser af de AI-genererede svar sammenlignet med originalartiklerne viste at de AI-genererede tekster overholdt ordbegrænsningen og indeholdt grammatisk korrekt sprog, men at der var forskellige problemer med indholdet, fx at resultater var faktuelt forkerte, blev fremstillet vagere end i originalartiklen, eller at der blev generaliseret ud over det grundlag data i artiklen muliggjorde.
De to ovenstående undersøgelser er eksperimenter hvor selve materialet der skal opsummeres eller uddrages viden af, kun er tilgængeligt for AI-teknologien i overskriftsform. Desuden er undersøgelserne lavet på tidligere ChatGPT-versioner end dem der er tilgængelige nu, hvorfor vi kan antage at vi kan få bedre svar nu. Men det er åbenlyst at disse værktøjer ikke kan stå alene, og at det er en menneskelig ekspert der skal prompte, samt evaluere og redigere de genererede tekster, og også skal sikre sig at den praksis der er brugt, overholder både etiske og akademiske retningslinjer.
En del AI-teknologier muliggør at man kan uploade tekst, og at man kan instruere AI-teknologien til at udlede information fra den uploadede tekst. Det forklarer AI for Education her hvor de nævner Claude.ai og ChatGPT som eksempler. ChatPDF kan også nævnes. I Scite kan man ligeledes oprette dashboards med tekstsamlinger og få AI-generede responser der bygger på den samling af videnskabelige tekster man har fundet via databasen. Det vil altså sige at man kan få opsamlinger af viden der baserer sig på kilder man har digital adgang til, og som kan læses af den pågældende AI-teknologi. Det kunne også inkludere tekster man selv producerer.
Som flere andre blogs forklarer (se fx AI for Education og Lindy.ai), skal man ud over at gøre det klart hvad datagrundlaget er, prompte sig til en respons. Det er en god idé at specificere formålet, målgruppen, evt. nøgleord og kernebegreber, ønsket længde osv. Se også guiden til hvordan man prompter og vurderer AI-genereret tekst.
Amirjalili, F., Neysani, M., & Nikbakht, A. (2024). Exploring the Boundaries of Authorship: A Comparative Analysis of AI-generated Text and Human Academic Writing in English Literature. Frontiers in Education, 9. doi:10.3389/feduc.2024.1347421
Chen, T. J. (2023). ChatGPT and Other Artificial Intelligence Applications Speed Up Scientific Writing. Journal of the Chinese Medical Association. doi:10.1097/jcma.0000000000000900
Gao, C., Howard, F. M., Markov, N. S., Dyer, E., Ramesh, S., Luo, Y., & Pearson, A. T. (2022). Comparing Scientific Abstracts Generated by ChatGPT to Original Abstracts Using an Artificial Intelligence Output Detector, Plagiarism Detector, and Blinded Human Reviewers. doi:10.1101/2022.12.23.521610
Godwin-Jones, R. (2022). Partnering with AI: Intelligent writing assistance and instructed language learning.
Khalifa, M., & Albadawy, M. (2024). Using artificial intelligence in academic writing and research: An essential productivity tool. Computer Methods and Programs in Biomedicine Update, 100145.
Semrl, N., Feigl, S., Taumberger, N., Bracic, T., Fluhr, H., Blockeel, C., & Kollmann, M. (2023). AI language models in human reproduction research: exploring ChatGPT’s potential to assist academic writing. Human Reproduction, 38(12), 2281-2288.
Song, C., & Song, Y. (2023). Enhancing academic writing skills and motivation: assessing the efficacy of ChatGPT in AI-assisted language learning for EFL students. Frontiers in Psychology, 14, 1260843.
Zhao, X., Sbaffi, L., & Cox, A. (2023). The Digitisation of Writing in Higher Education: Exploring the Use of Wordtune as an AI Writing Assistant.