Utfordringer ved Difis nye verktøy for tilbudsevaluering

Av advokat/partner  Kristian Jåtog Trygstad, Advokatfirmaet Føyen Torkildsen AS

Difi presenterte nylig verktøy for tilbudsevaluering ved anskaffelser av bygg- og anleggsoppdrag og transportoppdrag. Tilbudsevaluering er vanskelig, og det er bra at Difi ønsker å veilede oppdragsgiverne på dette området. De anbefalte verktøyene har imidlertid svakheter som oppdragsgivere bør være klar over, fordi bruk av verktøyene kan føre til at det beste tilbudet ikke vinner konkurransen.

Difis anbefalte verktøy for tilbudsevaluering

Offentlige anskaffelser avsluttes ved at oppdragsgiver tildeler kontrakt til tilbudet med det beste forholdet mellom pris eller kostnad og kvalitet. Hvis ett tilbud har den laveste prisen og den beste kvaliteten, gir utfallet seg selv. Som regel er imidlertid oppdragsgiver nødt til å vurdere tilbud med lav pris opp mot tilbud med noe høyere pris og bedre kvalitet. Da må man finne en metode for å sammenligne tilbudenes styrker og svakheter.

Det er opp til oppdragsgiver å finne den metoden som er best egnet i den aktuelle anskaffelsen.[1] Difi anbefaler at tilbudene gis poeng ut fra hvor godt de oppfyller hvert av tildelingskriteriene, mens tilbudet med høyest samlet poengsum vinner konkurransen.

Det finnes mange måter å beregne poeng på. Difi har – på generelt grunnlag – valgt å anbefale såkalte relative metoder.[2] Disse metodene kjennetegnes ved at det beste tilbudet i bedømmelsen av et tildelingskriterium får maksimal poengsum på tildelingskriteriet, typisk 10 poeng, uavhengig av hvor godt tilbudet egentlig møter oppdragsgivers preferanser og behov.

Uttellingen skal gjenspeile relevante forskjeller mellom tilbudene

Når oppdragsgiver evaluerer tilbudene ved å holde poengscoren på hvert kriterium opp mot hverandre, sammenlignes ikke tilbudenes styrker og svakheter direkte. Sammenligningen skjer isteden indirekte, ved at et forsprang som ett tilbud får på priskriteriet som følge av lav pris, kan utlignes ved forsprang som et tilbud med bedre kvalitet får på kvalitetskriteriet. Hvis Tilbud A for eksempel får 1 (vektet) poengs forsprang på Tilbud B i bedømmelsen av priskriteriet, vil Tilbud B vinne konkurransen hvis det får 1,5 poengs (vektet) forsprang på Tilbud A i bedømmelsen av kvalitetskriteriet.

Ideelt sett skal bruk av evalueringsmetoder gi det samme utfallet som når de konkurrerende tilbudenes sterke og svake sider holdes direkte opp mot hverandre. I eksemplet foran vil i så fall Tilbud B vinne konkurransen fordi den gode kvaliteten mer enn oppveier for den høyere prisen.

For å sikre en riktig sammenligning av pris og kvalitet må oppdragsgiver sikre at det er samsvar mellom uttellingen på tildelingskriteriene. Det kronebeløpet som tilsvarer 1 poengs (vektet) forsprang på priskriteriet må altså svare til hva oppdragsgiver mener det er riktig å betale for den kvaliteten som gir 1 poengs (vektet) forsprang på kvalitetskriteriet.

Dette kan og bør oppdragsgiver styre. Som jeg kommer tilbake til nedenfor, mister imidlertid oppdragsgiver denne muligheten hvis Difis verktøy benyttes. Difis verktøy skaper derfor en unødvendig risiko for at poengene som beregnes, gir andre utslag enn oppdragsgivers reelle betalingsvillighet for kvalitetsforbedringer.

Difi har vist til at verktøyene er brukt med hell, men de evalueringsmetodene verktøyene bygger på, har svakheter som oppdragsgivere bør være kjent med. Når poengberegningsmetoder brukes til å sammenligne tilbud, er det rådende synspunktet i økonomisk teori at man isteden bør bruke såkalte absolutte metoder,[3] hvor maksimal poengsum reserveres til tilbud som er like gode som et tenkt idealtilbud.

Nedenfor viser jeg noen eksempler på hvordan bruk av relative metoder kan føre til at feil tilbud vinner konkurransen. Dette er en spisset kortversjon av den tilsvarende gjennomgangen i Tildeling av offentlige kontrakter. Gjennomgangen tar utgangspunkt i den av de lineære metodene som Difi har brukt som utgangspunkt. I verktøyet åpner Difi også for at oppdragsgiver kan velge å bruke en forholdsmessig metode. Bruk av forholdsmessige metoder gir flere uheldige utslag som oppdragsgiver må være kjent med. 

Difis metode for beregning av poeng på priskriteriet

Metoden som brukes for å beregne poeng på priskriteriet, skal sikre at 1 poeng tilsvarer et kronebeløp som gir et godt grunnlag for å sammenligne pris og kvalitet.

Difi anbefaler at tilbudet med lavest pris får full uttelling, mens de øvrige tilbudenes uttelling reduseres, avhengig av hvor mye dyrere de er enn tilbudet med lavest pris. Slike metoder bygger på en forutsetning om at den laveste tilbudsprisen alltid er lik markedets beste pris, slik at den er en egnet referansepris. Det er imidlertid ikke noen nødvendig sammenheng mellom den laveste tilbudsprisen i konkurransen og den beste prisen oppdragsgiver kunne ha fått. I praksis er det derimot relativt vanlig at den laveste tilbudsprisen avviker fra markedets beste pris, og det kan være flere grunner til det.

Hvis den laveste tilbudsprisen avviker fra markedets beste pris, vil tilfeldigheter kunne påvirke uttellingen på priskriteriet. Enkle eksempler fra en konkurranse om kjøp av én PC, viser hvordan dette kan få betydning for oppdragsgivers valg av tilbud.[4] Først ser vi på et utslag i en konkurranse hvor pris og kvalitet er vektet 50 prosent hver, og hvor lavest pris er 4000 kroner:

Tilbud A har lavest pris og får 10 poeng, mens poengscoren reduseres med 1 poeng ved 10 prosent høyere pris. Det betyr at 1 poeng på priskriteriet tilsvarer 400 kroner.

Vi ser at Tilbud B og C som konkurrerer om å være tilbudet med best kombinasjon av pris og kvalitet, mens Tilbud A har for lav kvalitet til å være aktuelt. I dette eksemplet vinner Tilbud B med 13,2 poeng. Det er fordi Tilbud Bs forsprang på priskriteriet mer enn oppveier Tilbud Cs forsprang på kvalitetskriteriet. Hvis metodene gir riktige utslag, skal det være en konsekvens av at oppdragsgiver ikke er villig til å betale den prisen som er beregnet for kvalitetsforbedringene i Tilbud C.

La oss nå se hva som skjer hvis Tilbud A, som uansett ikke er i posisjon til å vinne konkurransen, øker prisen til 4600 kroner:

Rangeringen av tilbudene på priskriteriet er uendret, og Tilbud A får fortsatt 10 poeng. De andre tilbudenes uttelling på priskriteriet er derimot endret, og det får avgjørende betydning for utfallet av konkurransen. Som det fremgår av tabellen, har endringen av Tilbud As tilbudspris ført til at det er Tilbud C som er det beste tilbudet i konkurransen. Dette er en direkte konsekvens av at kronebeløpet som tilsvarer 1 prispoeng nå har økt til 460 kroner. En endring av Tilbud As pris førte altså til at oppdragsgiver de facto er villig til å betale mer for kvalitetsforbedringen i Tilbud C.

Det er ulogisk at Tilbud As pris skal få avgjørende betydning for om Tilbud B eller Tilbud C vinner konkurransen. Tvert imot ville det ha vært naturlig at det valget ble gjort ved å holde Tilbud Bs lavere pris opp mot Tilbud Cs bedre kvalitet.

Difi nevner denne risikoen for tilfeldige utslag, men etter min mening er betydningen underkommunisert. I økonomisk teori mener man at denne svakheten gjør at de relative metodene bør brukes med forsiktighet. Det bør oppdragsgivere ha et bevisst forhold til, og det kan tas til inntekt for at Difis anbefalte metoder bare bør brukes hvis de anses egnet etter en konkret vurdering. Selv om risikoen for tilfeldige og uhensiktsmessige utslag er størst når tilbudet med lavest pris ikke er blant de beste, vil de samme utfordringene også kunne gjøre seg gjeldende når tilbudet med lavest pris er et konkurransedyktig alternativ.

Difi skriver at det ikke er mulig å eliminere denne risikoen for tilfeldige utslag. Det er riktig så lenge oppdragsgiver velger å bruke relative metoder. Det finnes imidlertid en rekke andre metoder for å evaluere tilbudene hvor denne risikoen er eliminert. Velger oppdragsgiver evalueringsmetoder hvor betalingsvilligheten for kvalitetsforbedringer er konstant og bestemt av oppdragsgiver selv, unngår man å åpne for at slike tilfeldigheter avgjør konkurransen. 

Difis metode for beregning av poeng på kvalitetskriterier

Difi anbefaler også relative metoder i vurderingen av kvalitetskriterier, slik at maksimal poengscore gis til tilbudet med best kvalitet, uavhengig av om oppdragsgivers behov kunne ha vært møtt på en bedre måte. På samme måte som for priskriteriet åpner denne fremgangsmåten for at tilfeldigheter avgjør konkurransen.

Et problem er at alle poengene skal fordeles, uavhengig av hvor godt det beste tilbudet er, og uavhengig av hvor store kvalitetsforskjeller det er mellom tilbudene. Hvis tilbudet med best kvalitet bare er middels godt, men likevel skal gis 10 poeng, vil det bli mange kvalitetspoeng å fordele på små kvalitetsforskjeller. Det har i og for seg ikke noe å si for bedømmelsen av kvalitetskriteriet isolert sett, siden rangeringen av tilbudene blir den samme. Risikoen er derimot at poengforskjellene ikke svarer til kvalitetsforskjellenes betydning for oppdragsgiver. Det kan ødelegge for sammenligningen av prispoeng og kvalitetspoeng, og det kan føre til at feil tilbud vinner konkurransen. Det er en av grunnene til at man i økonomisk teori også fraråder at tilbudet med best kvalitet brukes som målestokk.[5]

Hvis kvalitetskriterier deles opp i delvurderinger (underkriterier) som bedømmes hver for seg, kan det skje at tilbudet som samlet sett får flest poeng på kvalitetskriteriet, likevel ikke får 10 poeng til sammen. Da legger Difi opp til en «normalisering», hvor alle tilbudenes kvalitetspoeng oppjusteres for å sikre at tilbudet med best kvalitet får 10 poeng. I følge Difi er dette nødvendig for å beholde tildelingskriterienes vekt.

Det foreligger noen enkeltstående, eldre, avgjørelser fra Klagenemnda for offentlige anskaffelser hvor nemnda har ment at tildelingskriterienes vekt endres irregulært hvis tilbudet som er best på ett tildelingskriterium får 10 poeng, mens tilbudet som er best på et annet kriterium ikke får maksimal uttelling på det kriteriet. Dette standpunktet var imidlertid ikke begrunnet.

I den danske veilederen om evalueringsmetoder er det uten videre lagt til grunn at dette ikke er nødvendig, og at ulike evalueringsmetoder kan kombineres. I økonomisk teori er heller ikke dette ansett ulovlig eller problematisk. I senere praksis fra Klagenemnda har nemnda heller ikke ment at slike utfall i seg selv endrer tildelingskriterienes vekt.[6] Nemnda har derimot lagt til grunn at det avgjørende er om metodene gir egnede og synkroniserte utslag, altså om fortrinn på ett kriterium gis like god uttelling som tilsvarende styrker på et annet kriterium. I sak LB-2010-68992 forsto lagmannsrettens flertall regelverket på samme måte.

Difi har ikke begrunnet standpunktet sitt, og det er vanskelig å vite hvorfor Difi mener at en «normalisering» er nødvendig for å hindre at tildelingskriterienes vekt endres. Et enkelt eksempel kan imidlertid vise hvordan oppdragsgiver tvert imot risikerer å endre tildelingskriterienes vekt når tilbudene normaliseres. I tabellen nedenfor har oppdragsgiver gitt 8 poeng til det beste tilbudet i den opprinnelige kvalitetsvurderingen. Hvis oppdragsgiver da skal «normalisere» tilbudene, kan det gjøres på to måter; en oppjustering med like mange poeng (1) eller en forholdsmessig oppjustering (2):

Måten oppdragsgiver oppjusterer poengene på, påvirker altså poengdifferansen mellom tilbudene. Oppjusteres tilbudene med like mange poeng, skiller det fortsatt 2 poeng mellom tilbudene etter «normaliseringen». Oppjusteres tilbudene forholdsmessig, skiller det derimot 2,5 poeng etter «normaliseringen».

Dette er en konsekvens som oppdragsgiver må ha et bevisst forhold til for å sikre at tilbudene gis riktig poengscore på kvalitetskriteriet. Ellers kan «normaliseringen» få avgjørende betydning for utfallet av konkurransen, og det kan være vanskelig å forsvare. 

Disse utfordringene kan unngås

Tilbudsevaluering kan være vanskelig fordi oppdragsgiver må finne en egnet måte å sammenligne tilbudene på. Bruk av poengsystemer i evalueringen kan gjøre det utfordrende å forstå uheldige utslag, og oppdragsgiver risikerer å være lykkelig uvitende om at man velger et annet tilbud enn det beste.[7]

Selv om oppdragsgiver ikke bruker optimale evalueringsmetoder, kan det være at det beste tilbudet vinner konkurransen. Poengberegningsmetodene som Difi har anbefalt, ser imidlertid ut til å utsette oppdragsgivere for unødvendig risiko for å velge et annet tilbud enn det beste. Det er også en risiko for at de anbefalte metodene vil gjøre det lettere eller vanskeligere å få uttelling for lav pris eller høy kvalitet, slik at tildelingskriterienes vekt endres på en ulovlig måte.[8] Oppdager oppdragsgiver dette under tilbudsevalueringen, kan det være for sent. Det er begrensede muligheter for å ombestemme seg underveis, hvis man ser at metoden gir feil utslag i bedømmelsen av tilbudene som har kommet inn.

Oppdragsgivere kan redusere og kanskje også unngå denne risikoen ved å bruke andre verktøy i evalueringen. Oppdragsgivere som synes det er vanskelig å finne riktig metode for å beregne poeng på priskriteriet, kan for eksempel slippe dette problemet helt ved å bruke pris som sammenligningsgrunnlag istedenfor poeng. Tilbudsprisen inngår da direkte i evalueringen, og den justeres opp eller ned som følge av kvalitative styrker og svakheter ved tilbudene. Tilbudet med den laveste justerte evalueringsprisen vinner konkurransen. Det er slike metoder som anbefales i økonomisk teori, først og fremst fordi prisen er en målbar del av tilbudene som gir et mer presist og oversiktlig sammenligningsgrunnlag.

[1] Dette er blant annet slått fast av EU-domstolen i sak C-6/15.

[2] Slike metoder omtales gjerne også som endogene metoder.

[3] Slike metoder omtales gjerne også som eksogene metoder.

[4] Dette eksemplet er valg for å synliggjøre poengene ved evalueringen. Selv om dette eksemplet gjelder kjøp av en PC, har prinsippene fullt ut overføringsverdi til Difis verktøy for bygge- og anleggsanskaffelser og transportanskaffelser.

[5] Se for eksempel rapporten En logisk fälla – relativ poängsättning av pris vid anbudsutvärdering i offentlig upphandling

[6] Se for eksempel sak 2008/204, sak 2013/31, sak 2015/60 og sak 2016/179.

[7] Det er blant annet er påpekt i den svenske Upphandlingsutredningen, se SOU 2013:12 side 153

[8] Se for eksempel EU-domstolens avgjørelse i sak C-6/15.