Dalarna University's logo and link to the university's website

Background ChatGPT is a chatbot released in November 2022. Its usage has grown to include being used in academia and for scientific writing, with varying results. We investigate if ChatGPT can be used for the technical part in a Bachelor’s thesis in System Sciences.

Aim We evaluate if it is possible to generate the code for detecting potential gender bias in previous responses from ChatGPT, in the form of a dialogue.

Method We use an exploratory case study where an iterative dialogue with ChatGPT is used to generate Python code to be able to analyse previous responses made byChatGPT. The methods for development were chosen by the authors from suggestions by ChatGPT.

Results Two separate dialogues resulted in a program that combined a fine-tuned Natural Language Processing model together with sentiment analysis and word frequency analysis. The program successfully identified responses in the dataset as having a female or male gender bias or being gender neutral.

Conclusions ChatGPT serves as a powerful tool for coding, although it currently falls short of being a one-stop solution that can generate code sufficient for more complex tasks witha single prompt. Our experience suggests that ChatGPT accelerates one’s work when the user possesses some programming knowledge. With further development, ChatGPT could transform coding workflows and increase productivity in related fields.

Implications ChatGPT as a tool is very capable in supporting students in the technical aspect of a Bachelor’s thesis and it is not unreasonable to assume that it works in other contexts, as well. As such, one can achieve more with the tool than without, and consequently it would be for the better to integrate ChatGPT into thesis work. This stresses the point that we need to find better regulations for cheating and plagiarism.

Bakgrund ChatGPT är en chatbot som släpptes den 22 november 2022. Sedan dess har dess användningsområden växt till att inkludera den akademiska världen och vetenskapligt skrivande, med varierande resultat. Vi undersöker om ChatGPT kan användas för den tekniska delen av en kandidatexamen i systemvetenskap.

Syfte Vi utvärderar om det är möjligt att i en dialogform generera kod för att upptäcka potentiell könsbias i tidigare svar från ChatGPT.

Metod Vi använder en utforskande fallstudie där en iterativ dialog med ChatGPT används för att generera Python-kod för att kunna analysera tidigare svar från ChatGPT. Utvecklingsmetoderna valdes av författarna utifrån förslag från ChatGPT.

Resultat Två separata dialoger med ChatGPT resulterade i ett program som kombinerade en finjusterad Natural Language Processing-modell med stämnings- och ordfrekvensanalys. Programmet identifierade svar i datasetet med att ha kvinnlig eller manlig könsbias, eller att vara könsneutralt.

Slutsatser ChatGPT är ett kraftfullt verktyg som kan användas för programmering. I dagsläget är ChatGPT ingen komplett lösning som kan generera kod tillräcklig för mer komplexa uppgifter med en enda prompt. Vår erfarenhet visar att ChatGPT accelererar ens arbete då användaren besitter viss kunskap inom programmering. Vid fortsatt utveckling kan ChatGPT ombilda programmeringsflöden och öka produktiviteten i relaterade områden.

Följder ChatGPT som verktyg är mer än kapabelt med att stödja studenter med den tekniska delen av ett examensarbete, det är heller inte orealistiskt att anta att det är möjligt att även använda det i andra sammanhang. Med detta sagt kan man utföra mer med verktyget än utan, och följaktligen är det till det bättre att integrera ChatGPT i examensarbeten. Detta driver på poängen att vi behöver finna en lösning vad gäller reglering och hantering av plagiat.