Dalarna University's logo and link to the university's website

Job Recommendation Systems have traditionally been using machine learning and information retrieval techniques such as Word2Vec, Term Frequency – Inverse Term Frequency and Support Vector Machines. The rise of Large Language Models (LLM) could potentially bridge the shortcomings of the traditional techniques. LLMs have other shortcomings which could be mitigated using the Retrieval Augmented Generation (RAG) architecture, which grounds output of an LLM to a dataset. This thesis explores the use of LLMs and RAG in job recommendation systems. Addressing gaps in existing methods that overlook user’s skills, geographic preferences, and multilingual datasets. LLMs and RAG enhance recommendation systems by processing unstructured data and providing grounded, personalized suggestions. This thesis aims to evaluate the trustworthiness and utility of an LLM in recruitment and competence development. It examines how an LLM can enhance traditional recruitment processes and support job seekers by recommending skills needed for specific job roles and regions, based on a user’s existing skills – resulting in a curated list of skills that could be improved upon. The methodology involves using Swedish IT job market data to provide personalized skill recommendations for job seekers based on their existing skills and desired job titles for specific regions. Data is collected, cleaned, and formatted to meet system requirements, and the models’ usefulness is evaluated through questionnaires, experiments and interviews with IT-students and recruitment professionals and analyzed using thematic and quantitative analysis. The inclusion of LLMs in recruitment and competence development shows promising potential. Findings suggest LLMs can refine the recruitment process, identify skill gaps, and offer insights for both job seekers and recruiters. Both IT-students and professionals in recruitment express optimism about LLMs ability to enhance traditional methods. Respondents given examples of the model’s output showed positive reactions and valuable insights in potential.

Jobbrekommendationssystem har traditionellt sett använt maskininlärning och informationssökningstekniker som Word2Vec, Term Frequency – Inverse Term Frequency och Support Vector Machines. Framväxten av Large Language Models (LLM) kan potentiellt överbrygga bristerna hos de traditionella teknikerna. LLM har andra brister som kan mildras genom användning av Retrieval Augmented Generation (RAG)-arkitekturen, som förankrar utdata från en LLM till en datamängd. Denna avhandling utforskar användningen av LLM och RAG  ijobbrekommendationssystem. Den adresserar luckor i befintliga metoder som förbiser användares färdigheter, geografiska preferenser och flerspråkiga datamängder. LLM och RAG förbättrar rekommendationssystem genom att bearbeta ostrukturerad data och ge förankrade, personliga förslag.Forskningen syftar till att utvärdera tillförlitligheten och nyttan av en LLM inom rekrytering och kompetensutveckling. Den undersöker hur en LLM kan förbättra traditionella rekryteringsprocesser och stödja arbetssökande genom att rekommendera kompetenser som behövs för specifika jobbtitlar och regioner, baserat på användarens befintliga kompetenser – vilket resulterar i en kuraterad lista av färdigheter som kan förbättras. I metodiken används data från den svenska IT-jobbmarknaden för att tillhandahålla personlig kompetensutveckling för arbetssökande baserat på deras befintliga kompetenser och önskade jobbtitlar för specifika regioner. Data samlas in, rengörs och formateras för att möta systemkraven, och modellens användbarhet utvärderas genom enkäter, experiment och intervjuer med IT-studenter och rekryteringsproffs. Datan analyseras med hjälp av tematisk och kvantitativ analys. Inkludering av LLM i rekrytering och kompetensutveckling visar lovande potential. Fynden tyder på att LLM kan förfina rekryteringsprocessen, identifiera kompetensbrister och erbjuda insikter för både arbetssökande och rekryterare. Både IT-studenter och yrkesverksamma inom rekrytering uttrycker optimism om LLM:s förmåga att förbättra traditionella metoder. Respondenter som fått exempel på modellens utdata visade positiva reaktioner och värdefulla insikter om potentialen.