Ravdeep Kour befinner sig virtuellt i underhållsverkstaden. I bakgrunden Amit Patwardhan och Kevin Karim.
– Vi vill kunna se in i framtiden. Kan vi med vår forskning bidra till att industrin får en effektivare planering och bättre hållbarhet vad gäller utrustning, ekonomi och miljö, då har vi lyckats, säger Ramin Karim, professor i drift- och underhållsteknik, och vetenskaplig ledare för AI Factory.
Demonstrationen i labbet på LTU görs av AI Factorys medarbetare. Den ska hjälpa oss att förstå hur artificiell intelligens (AI) fungerar.
Ravdeep Kour och Manish Kumar bär AR-glasögon och befinner sig i olika rum, så de har ingen fysisk kontakt med varandra men delar samma digitala arbetsyta. AR (augmented reality) är en teknik som till skillnad mot VR (virtual reality) inte bara visar verkligheten autentiskt utan även förstärker den med digitala element.
På den stora väggskärmen kan man se dem inspektera kontaktledningen för järnväg och hjulet på tåget.
– Man kan beskriva det som att Ravdeep befinner sig i underhållsverkstaden och Manish är en specialist i Stockholm, säger Veronica Jägare.
Erik Ranängen ser fram emot vad AI Factory kan hjälpa byggbolagen med i det kommande projektet. Veronica Jägare är verksamhetsledare för Järnvägstekniskt centrum (JVTC) som var först ut i AI Factory.
Hon är verksamhetsledare för Järnvägstekniskt centrum (JVTC) som var först ut i AI Factory, och där LTU samverkar med flera olika aktörer, bland andra Trafikverket, Transito, Infranord, SJ, Tåg i Bergslagen, LKAB Malmtrafik.
Informationen som behövs för att skapa den virtuella verkligheten kan samlas in på olika sätt; till exempel genom sensorer och kameror fästa på vagnar, markbundna robotar eller drönare. Tusentals kilometer spår, kontaktledningar och specifika lok och vagnar har digitaliserats.
På skärmen ser man vilka bilder Ravdeep Kour har i sina AR.-glasögon. Avataren symboliserar Manish Kumar.
En signal markerar när något inte är som det ska, vilket innebär att Trafikverket eller en operatör kan ta på sig AR-glasögon och gå in och göra en inspektion.
– Man kan se exakt vilket fordon eller vilken del av spåret som behöver underhåll. Och på järnvägen kan man peka ut platsen med centimeterprecision, säger Veronica Jägare.
Kevin Karim visar hur robothunden rör sig. AI Factory kombinerar flera olika robotar på uppdragen, en unik kompetens enligt Ramin Karim.
Amit Patwardhan visar en del av drönarens färdigheter.
För att visa hur information kan hämtas in demonstrerar Kevin Karim och Amit Patwardhan först hur en robothund och sedan en drönare kan samarbeta, röra sig och ta sig till olika platser, utför uppdrag och samlar information genom kameror.
Robothunden identifierar och följer ett föremål, medan drönaren scannar en QR-kod.
– Det är många som kan använda en robothund, men det som är unikt för LTU är att vi har skapat en plattform där olika typer av gående robotar, hjulförsedda robotar eller en svärm av flygande drönare, kan samverka och genomföra det vi kallar ett ’uppdrag’ för drift och underhåll i industrin, säger Ramin Karim.
Förutom bilder och filmer kan systemet även matas med information, fakta och kunskap som skapats av erfarenhet i branschen.
Först datainsamling, sedan 3D-visualisering. Sista steget är att analysera resultatet, vilket Jaya Kumari visar.
På en annan skärm visar Jaya Kumari hur informationen analyseras. Var uppstod felet? Varför? Den artificiella intelligensen samlar fakta, analyserar och ger även förebyggande råd, alltså vägleder användaren.
– AI är tekniken för att förstå data genom beräkning, medan AR- och VR-glasögon gör AI synligt, konstaterar Ramin Karim.
AI Factory för järnväg startade år 2020, och följdes ett år senare av gruvprojektet, där LTU samverkar med LKAB, Boliden och Epiroc. Automatiseringen av gruvorna går i högt tempo. Förarlösa, eldrivna gruvmaskiner och fjärrstyrda borrar är exempel på framtidsprojekt.
"Vi vill kunna se in i framtiden", säger Ramin Karim, som leder forskningen vid AI Factory.
Men AI Factory har även ett annat fokus.
– Vi tittar på anläggningsförvaltning och vård av maskiner. Det kan exempelvis gälla att beräkna ett behov av bergförstärkning eller underhåll av en truck. Inspektioner och ronderingar inom gruvan är tidsödande och kan i vissa fall vara farliga, säger Ramin Karim.
Tillvägagångssättet är liknande som för järnvägen. Data har samlats in digitalt av sensorer och drönare, som placerats och skickats in i anläggningar, gruvgångar och schakt. När avvikelser noteras visualiserar man dem i en modell.
Professor Ramin Karim leder forskningen inom AI Factory på Luleå tekniska universitet.
– Vi lär upp modellen eftersom, beroende på vad som händer och vad som behöver göras.
Robotar kan även användas till reparationer som utförs från distans på platser som kan vara farliga.
I juni i år startade nästa projekt, efter att Erik Ranängen, bransch- och föreningsansvarig vid Byggföretagen i Norrbotten, tagit kontakt med AI Factory.
– Skälen var två: byggbranschen ligger långt efter vad gäller digitalisering, och prognoser visar att byggandet i norra Sverige måste dubbleras de närmaste 20 åren. Det är en enorm utmaning som vi inte kommer klara utan att vi utvecklar sättet vi bygger på. Vi kan inte anställa så många som behövs utan vi måste bli effektivare, säger Erik Ranängen.
VR-glasögon och AR-glasögon är en del av den teknik som Ramin Karim och LTU utvecklar i AI Factory.
Ett projekt med fokus på platsledningens roll startades. Norrbottens byggmästareförening, innovationsprogrammet Smart Built och Svenska byggbranschens utvecklingsfond (SBUF) deltar i finansieringen, och har knutit bolagen NCC och HÖ Allbygg till projektet.
– Ett byggprojekt är stort och det är svårt att fatta rätt beslut hela tiden. Vi vill ha hjälp med att göra rätt, exempelvis minska säkerhetsbrister och kvalitetsbrister, samt bli effektivare tidsmässigt. Och vi är entusiastiska i att få komma in här, där det finns ledande forskning, säger Ranängen.
– Till stor del handlar det om kunskap i form av text. Det gäller att välja ut vilka delar som är intressanta. Vilka beslut har tagits? Var har det uppstått problem? När det gäller byggnader och säkerhetsinspektioner kan man följa arbetet med hjälp av robotar. För logistikflödet kan det exempelvis handla om en signal om när det är dags att sätta upp köket. Är allt på plats innan dess? Vi försöker matcha projekt som liknar varandra, se vilka förseningar och problem som dykt upp och hur de löstes, säger Ramin Karim.
Med AR-glasögon och VR-glasögon ska AI Factory hjälpa framtidens gröna industrier, gruvor och byggbolag att se in i framtiden. Här Manish Kumar.
Ett kommande uppdrag för AI Factory kan vara den nya stålindustri som växer fram i den gröna omställningen, med företag som SSAB och H2 Green Steel. Precis som i gruvan väntas automatisering och maskininlärning ta över. Arbetet görs av maskiner som styrs av operatörer.
– Vi har ett samarbete med SSAB där vi diskuterat vilka verktyg vi kan hjälpa dem med. Vi ser redan inom bilindustrin exempel på självreglerande produktsystem som får fatta egna beslut. Det kan även gälla anläggningsförvaltning, planering och rådgivning. Och kompetensförsörjning, som är en jättefråga när utvecklingstakten är så hög, säger Ramin Karim.
Har ni något projekt på gång med Northvolt?
– Inte i dagsläget. Men diskussioner pågår. Vi har utbildat 45 studenter åt dem inom digitalisering och AI.
AI factory på LTU har ett 40-tal medarbetare. Några syns här. Från vänster: Kevin Karim, Amit Patwardhan, Hanna Eriksson, Jaya Kumari, Ramin Karim, Veronica Jägare, Manish Kumar och Ravdeep Kour.