ChatGPT

Er is de laatste tijd veel te doen om ChatGPT, de op 30 november 2022 gelanceerde gratis chatbot van OpenAI die dialogen kan voeren. Op verzoek kan een complete tekst worden geschreven, ook in het Nederlands, al dan niet met bronvermeldingen volgens de APA-richtlijnen.

Dit blogbericht gaat niet over de vraag of het ethisch verantwoord is om deze chatbot in te zetten bij het schrijven van een verslag, wel wil ik een antwoord geven op de vragen: hoe verwijs je in de tekst en in de bronnenlijst naar ChatGPT en hoe betrouwbaar is de bronnenlijst die door ChatGPT gegenereerd wordt?

Mijn eerste ingeving was dat je naar ChatGPT verwijst zoals je naar een computerprogramma of app verwijst. Dit staat onder meer beschreven in De APA-richtlijnen uitgelegd, § 3.11.2.

Naast overleg met de leden van de Werkgroep APA, die het mij eens waren, heb ik advies gevraagd aan de APA Style experts in Amerika. Het antwoord dat ik op 24 januari kreeg was dat men er nog niet helemaal uit is hoe ChatGPT te vermelden. Op 7 april werd in het blogbericht How to cite ChatGPT op het officiële APA Style blog een richtlijn gegeven.

Een optie die werd gegeven was om er alleen in de tekst naar te verwijzen als persoonlijke communicatie, waarbij OpenAI als naam fungeert. Men gaf zelf al aan dat dit geen bevredigende oplossing is.

De uiteindelijke richtlijn is om inderdaad de vermelding van een computerprogramma of app te volgen, met tussen ronde haakjes de versie (een datum, staat onderaan de pagina) en tussen vierkante haakjes 'Large language model'. Omdat deze term ook in het Nederlands wordt gebruikt heb ik deze onvertaald gelaten:

OpenAI. (2023). ChatGPT (Mar 23 versie) [Large language model]. Geraadpleegd op 20 april 2023, van https://chat.openai.com

Geef in de tekst aan welk gedeelte door ChatGPT is gegenereerd. Dat kan zowel met een citaat als met een parafrase. Vermeld welke prompt (opdracht) is gegeven. Een voorbeeld:

Voor het formuleren van de probleemstelling is gebruik gemaakt van de chatbot ChatGPT (OpenAI, 2023) met als prompt “…”.

Bij het gedeelte “…” komt de tekst te staan die voor de chatbot gebruikt is.

Een bruikbaar advies is om de gegenereerde tekst als bijlage bij een verslag op te nemen zodat de lezer of beoordelaar zelf de inhoud kan bekijken. Ieder antwoord van ChatGPT is uniek, ook als dezelfde vraag meerdere keren wordt gesteld.
Wanneer de door ChatGPT gemaakte tekst als bijlage is opgenomen hoeft in de tekst alleen verwezen te worden naar de bijlage:

Voor het formuleren van de probleemstelling is gebruik gemaakt van ChatGPT (OpenAI, 2023; zie Bijlage A).

Ik heb zelf een account aangemaakt bij OpenAI om te zien of en hoe ChatGPT een tekst kan schrijven met de juiste verwijzingen in de tekst en een bronnenlijst volgens de APA-richtlijnen. Ik heb meerdere keren op meerdere dagen geprobeerd om een tekst te genereren maar zonder succes. Telkens stagneert de chatbot, nog voordat de bronnenlijst is gegenereerd. Af en toe komt in beeld te staan dat het heel druk is.

Op TikTok vond ik een 90 seconden durend filmpje waarin deze prompt wordt gegeven: “Write an essay on elephants of 1000 words with apa-style references in the text. Include something about Spider-Man in the essay”. Nadat de tekst is afgerond zijn vanaf 42 seconden deze drie bronvermeldingen te zien:

• Lynch, D. (2012). The elephant man. New York, NY: Penguin books.
• Marvel Comics (writer) & Webb, M. (director) (2014). The amazing Spider-Man 2 (Motion picture). United States: Columbia Pictures.
• Smith, D. G. (2015). Elephant sociality. In M. D. Mitchell & S. H. Landes (Eds.), The biology of elephants (pp. 123-149). Berlin, Germany: Springer.

Achtereenvolgens wordt verwezen naar een boek, een film en een hoofdstuk uit een boek. Als je niet kijkt naar de bullets (in plaats van inspringen vanaf de tweede regel) en het ontbreken van cursief geplaatste titels lijkt dit op een bronnenlijst volgens APA.

Als je iets langer kijkt ontdek je meer foutjes: de plaatsnaam + staat of land wordt genoemd (een APA6 richtlijn die bij APA7 is komen te vervallen), writer en director staan niet met een hoofdletter en de punt achter (director) ontbreekt.

Je zou kunnen beargumenteren dat dit makkelijk kan worden aangepast, maar kijk nu eens goed naar de drie bronnen. De eerste titel, het boek, bestaat niet: David Lynch is de regisseur van de film The Elephant Man uit 1980 maar heeft nooit een boek over zijn film geschreven (in de tekst wordt het een roman genoemd), bovendien heeft het titelpersonage niets met olifanten te maken. Deze vermelding is dus door de chatbot verzonnen.

De tweede vermelding bestaat wel: in 2014 is The Amazing Spider-Man 2 geregisseerd door Marc Webb uitgebracht door Columbia Pictures. Het scenario werd echter geschreven door Alex Kurtzman, Roberto Orci en Jeff Pinkner. Marvel Comics is de uitgever van de stripreeks.

Over de derde titel kan ik kort zijn: het hoofdstuk bestaat niet en het boek ook niet.

ChatGPT is dus in staat om vermeldingen volgens APA6 te generen maar verzint deze waar je bij staat.
Het TikTok-filmpje is misschien niet het beste voorbeeld. In december 2022 ontving ik van een lector een aantal bronvermeldingen gemaakt door de chatbot met de vraag hoe accuraat deze waren samengesteld. De bronnenlijst bestond uit twee boeken en vijf wetenschappelijke tijdschriftartikelen. Slechts één boek en één artikel bleken echt te bestaan. Het bestaande artikel was de enige met een doi-link, de andere artikelen waren verzonnen maar de tijdschriften bestaan echt en de auteurs hadden over het onderwerp gepubliceerd. Bedrieglijk echt...

Eindconclusie: ChatGPT kan veel maar (nog) geen bestaande bronnen volgens de APA-richtlijnen reproduceren.

Andere ervaringen of ideeën? Laat ze weten door een reactie achter te laten.

Zie ook APAstaartje: ChatGPT en APA, hoe zit dat?

Update 16 juni 2023: ChatGPT heeft een nieuwe functie toegevoegd, shared links. Hiermee is het mogelijk om zowel de prompt als de gegenereerde tekst te delen. Aan de APA Style experts in Amerika heb ik gevraagd of dit gevolgen heeft voor de vermeldingen in de bronnenlijst. Ik kreeg snel antwoord: men is bezig om deze nieuwe ontwikkelingen (er is inmiddels ook een ChatGPT app) te verwerken in de bestaande richtlijn, maar dit kost tijd. Iedereen is welkom om suggesties te geven. Als er een aangepaste richtlijn komt zal ik dat uiteraard melden.

Deze pagina is op 20 april 2023 aangepast zodat de inhoud overeenkomt met de richtlijnen zoals beschreven op het APA Style blogbericht van 7 april 2023.