This thesis explores the usability and effectiveness of a GPT-based chatbot developed to help students at Dalarna University find academic information. The study was done under the interdisciplinary Informatics and Microdata Analysis framework, fusing system development with an empirical evaluation of user behavior. First, a mixed-methods approach was undertaken in which six participants took part in a controlled experiment relating them into two groups: one for the university’s website and another for the chatbot. Each group performed identical information-seeking tasks followed by semi-structured interviews. User qualitative feedback was analyzed thematically to triangulate quantitative data from chatbot logs and task completion times. Findings show that the chatbot ran faster in task completion and was more user-friendly than the website. Usability, trust, and information accessibility emerged as key themes from the interviews. Results were interpreted through the Technology Acceptance Model (TAM). It showed elevated levels of perceived usefulness and ease of use leading to user trust and intention to reuse the chatbot. In addition, usage logs revealed common query patterns and task types, offering insights into how the chatbot’s design and performance could be further refined. This study adds to the emerging research on AI-driven student services and how conversational interfaces can improve information retrieval in higher education such as Dalarna University. Ethical considerations, limitations of system design, and future research directions are also discussed.
Denna uppsats undersöker användbarheten och effektiviteten hos en GPT-baserad chatbot utvecklad för att hjälpa studenter vid Högskolan Dalarna att hitta akademisk information. Studien genomfördes inom det tvärvetenskapliga området Informatik och Mikrodatanalys, där systemutveckling kombineras med en empirisk utvärdering av användarbeteende. Experimentet genomfördes i två grupper där deltagarna fick i uppgift att hitta information. Grupp A använde chatboten och grupp B använde universitets hemsida. Varje grupp utförde identiska informationssökande uppgifter, följt av semistrukturerade intervjuer. Kvalitativ användarfeedback analyserades tematiskt för att triangulera kvantitativa data från chatbotens loggar och uppgiftstider. Resultaten visar att chatboten genomförde uppgifterna snabbare och var mer användarvänlig än webbplatsen. Användbarhet, förtroende och informationsåtkomst framträdde som centrala teman i intervjuerna. Resultaten tolkades medhjälp av Technology Acceptance Model (TAM), vilket visade höga nivåer av upplevd nytta och lättanvändhet som ledde till användarnas förtroende och vilja att använda chatboten igen. Dessutom visade analysen av loggdata vanliga frågetyper och användarmönster, vilket gav insikter i hur chatbotens design och funktion kan förbättras. Denna studie bidrar till den växande forskningen om AI-drivna studenttjänster och hur konversationsgränssnitt kan förbättra informationssökning inom högre utbildning så som vid Högskolan Dalarna. Etiska aspekter, begränsningar i systemdesign och framtida forskningsriktningar diskuteras också