Personalet inden for det akutte felt har altid gættet på forventet travlhed. Tanker som ”Får vi mon travlt i dag?” og ”Her virker godt nok stille” kommer dagligt, om ikke andet så i den dialog, medarbejderne fører med sig selv. Men rammer medarbejderne så rigtigt i forhold til de faktiske tal? Og kan vores forecast gøre det bedre?
Det går vi i dybden med i denne artikel, hvor vi helt konkret viser, hvad og hvor meget vores korttidsforecast, PraeSight, faktisk kan byde ind med og have af betydning på en akutafdeling.
Når personalet i akutmodtagelser har skullet forberede sig på dagens rykind, har de historisk set haft to muligheder:
Jo længere personalet har arbejdet i en akutmodtagelse, jo bedre skulle de gerne blive til at forudse travlhed, træffer beslutninger om dækning af sygemeldinger og indkaldelse af ekstra personale, så ressourcerne kan bruges optimalt. Alligevel bliver medarbejdere sygemeldt med stress og udbrændthed – og nogle steder oplever man ligefrem personaleflugt. Så kan man gøre det bedre – og komme mere på forkant med disse udfordringer?
Et af Praemostros produkter, korttidsforecastet PraeSight, har i snart tre år været i drift i en større dansk akutmodtagelse. For at teste om personalet kunne forudsige travlhed, slukkede vi for systemet i én måned i 2024 for at se, hvad der ville ske. Hvordan ville henholdsvis systemet, personalet og de faktiske tal se ud? Testen gik helt konkret ud på, at vi hver dag kl. 8 og kl. 16 ringede til den speciallæge og den erfarne sygeplejerske, der styrede afdelingen, og stillede dem hver to spørgsmål:
Samtidig førte vi regnskab med det faktiske antal af patienter, der ankom time for time, og desuden havde vi PraeSight kørende i baggrunden, men skjult for personalet.
Vi sammenholdt forudsigelserne fra lægerne og sygeplejerskerne med det antal patienter, der rent faktisk ankom, og beregnede så forskellen for hver 8-timers vagt.
Figur 1: Afvigelser mellem personaleforudsigelser og det faktiske antal af ankomne patienter.
På figur 1 herover kan du se, hvad vi opdagede. De orange søjler viser forskellen i antallet af patienter, der ankom, holdt op mod lægernes gæt. De blå søjler viser samme diskrepans, men set med sygeplejerskernes briller.
Helt konkret gættede lægen fx 7 patienter for højt den 1. marts i dagvagten, mens sygeplejersken gættede én for lidt i forhold til, hvad der faktisk ankom. Lidt af en højdespringer er dagvagten den 15. marts, hvor lægen og sygeplejersken var mere end 40 patienter uenige og begge gav udtryk for, at de forventede en normal vagt.
I ovennævnte eksempel fokuserer vi på, hvor ofte personalet ramte mere eller mindre end én patient i timen korrekt, målt over 8 timer (dvs. +/- 8 patienter pr. vagt). I de tre år, PraeSight har kørt, har systemet konsekvent ramt +/- 1 patient i timen rigtigt (i 95% af tiden målt over 8 timer, hvilket vil sige +/- 8 patienter på en vagt) på den pågældende afdeling.
Personalet ramte +/- 8 patienter pr. vagt rigtigt i 58% af tiden, mens de ramte forkert i 42% af vagterne. Til sammenligning rammer PraeSight rigtigt 95% af tiden. Og så skal det tilføjes, at når PraeSight rammer ved siden af, så er afvigelsen mindre, end når personalet rammer ved siden af.
En anden oplagt løsning til at forudse patientankomster er at undersøge, hvor mange der ankom i samme interval for en uge siden: Hvis der fx kom 8 patienter mellem kl. 13 og 14 på samme dag i sidste uge – og der ikke er nogle særlige begivenheder, der burde påvirke tilstrømningen – så kommer der nok også 8 i dag.
Denne faktor indgår i PraeSight som en af vores mange datakilder, ligesom vi også tager højde for en lang række andre faktorer, såsom epidemier, vejr og begivenheder. Og som noget særligt smart tager vores system også automatisk højde for, hvordan faktorerne indbyrdes påvirker hinanden.
Kort fortalt, så forudsiger PraeSight antallet af patientankomster mellem 25 og 35% mere præcist, end hvis man sætter sin lid til og bruger sidste uges tal. Dette opnår vi ved hjælp af metrikken MASE (fork. for ’Mean Absolute Scaled Error’), der – lidt forenklet forklaret – viser, hvor meget bedre et forecast er end ’den naive model’, dvs. det der plejer at ske. En MASE-værdi skal helst være så lav som muligt, og ifølge forskningslitteraturen kan man normalt ikke forvente, at den er meget lavere end 0,7 i tilfælde som vores. Den varierer fra time til time og fra dag til dag, men har konsekvent ligget mellem 0,65 og 0,75 på den danske akutmodtagelse, vi omtaler i eksemplet her i artiklen. Så det kan faktisk ikke gøres ret meget mere præcist, end vores system allerede præsterer.
Det er selvfølgelig også en mulighed, at man selv udarbejder formler og skaber overblik i et regneark. Man kunne fx bruge metoder som simpelt vægtet gennemsnit, eksponentielt vægtet gennemsnit eller lineær regression til at forecaste antallet af patienter i fremtiden. Men når vi ikke ser dette som et reelt alternativ til PraeSight, så er det ganske enkelt, fordi vi ikke kan levere en troværdig beregning på forskellen mellem at bruge PraeSight og formler i Excel.
Sat lidt på spidsen, så kunne vores beregninger faktisk godt udføres i Excel, selvom det ville være bøvlet og langsommeligt. Det ville samtidig blive for forsimplet. Så, for at bevare troværdigheden, holder vi os fra mere tilbundsgående at belyse forskellene mellem denne løsning og PraeSight-forecastet.
Selv om PraeSight rammer forholdsvis præcist, så har systemet ikke altid ret. Som belyst ovenfor vil der være 5% af tiden, hvor præcisionen er mindre end +/- én patient i timen. I de tilfælde forsøger vi at klarlægge årsagen og korrigere, hvad vi kan, men vi kan aldrig garantere en 100% sikker forudsigelse. Det er derfor vigtigt at bruge PraeSight – og Praemostros andre produkter – som et seriøst og kapabelt beslutningsstøtteværktøj og ikke som et redskab, der giver en 1:1 eksakt forudsigelse.
Har du spørgsmål om brugen af vores forecasts, er du altid velkommen til at kontakte os.
Vidste ud, at der faktisk er nogle, der har forsket i, om det er farligt at sige ”Her er godt nok stille” højt i akutafdelinger, sågar ved at gennemføre et regelret lodtrækningsforsøg…? Konklusionen er, at det ikke gør nogen forskel. Så overtro er (i denne sammenhæng) manet i jorden.
