Vägledning Kvalitetsutvärdering

Vid upphandling av komplexa tjänster, som upphandling av kollektivtrafik, där såväl leverantörens kunskap och förmåga att leverera och utveckla uppdraget som det faktiska utförandet har en stor påverkan på uppdragets utförande och kvalitet, är det oftast mycket lämpligt att använda sig av kvalitetsutvärdering.

Genom att definiera mål och önskade lägen med varje trafikuppdrag, som sedan omvandlas till kvalitetskriterier där anbud utvärderas efter dessa, finns goda chanser att erhålla ett slutresultat som är mer kostnadseffektivt än när bara pris avgör val av trafikföretag. Det möjliggör även att man kan premiera aspekter kopplade exempelvis till framtidsbehov, utvecklingsförmåga och innovation – där det finns klara fördelar med att tillvarata marknadens kunskap och förslag på lösningar. Genom att premiera andra aspekter än pris signaleras också att kvalitet är viktigt, både i samband med kontraktstilldelningen och under trafikuppdragets utförande.

Samtidigt finns svårigheter i den praktiska tillämpningen av kvalitetsutvärderingar. Detta beror huvudsakligen på svårigheten att hitta rätt balans mellan å enda sidan förutsebarhet och vad som kommer tillmätas betydelse, å andra sidan effektiva kriterier som öppnar för att tillvarata och fånga upp kreativa lösningar hos trafikföretagen. Denna vägledning syftar till att vara ett stöd och hjälpmedel i den praktiska utformningen av kvalitetskriterier.

Vägledningens syfte och uppbyggnad

Vägledningen syftar till att vara ett stöd och inspiration vid framtagande av upphandlingsdokument när tilldelningskriteriet bygger på ”Bästa förhållandet mellan pris och kvalitet”.

Vägledningen är uppdelad i två delar, där den första delen ger en övergripande bild som förklarar de steg som behöver beaktas innan och under utformningen av kvalitetskriterier samt ett konkret exempel.

Andra delen ger en fördjupad bild, som mer detaljerat beskriver:

  • vad som är viktigt att tänka på och vilka legala utgångspunkter som styr utformningen av kvalitetskriterier,
  • överprövningar – vad går att utläsa av domstolspraxis, bl.a. överprövningen beträffande upphandlingen av Krösatågen,
  • vilka utvärderingsmodeller som finns inklusive fördelar och nackdelar,
  • vad som gäller vid viktning och vad man bör tänka på,
  • råd avseende tillvägagångssätt för hur bedömningsgrunder och poänggivande förhållanden kan identifieras samt olika exempel, och
  • hur kvalitetskriterier kan utformas för att bli affärsmässiga och transparenta och således bidra i högre utsträckning till måluppfyllelse.

Kvalitetsutvärdering – en vägledning inom upphandling av kollektivtrafik

Att tänka på innan utformning av kvalitetskriterier

För att lyckas med en effektiv och ändamålsenlig utvärdering behöver nedanstående aspekter beaktas innan. De säkrar också en röd tråd genom upphandlingen i syfte att säkra och öka möjligheterna till måluppfyllelse och en god affär.

Förarbete

Det krävs ett väl genomarbetat förarbete till upphandlingen – med väl definierade förutsättningar, behov och mål. Genom att sedan omvandla detta i upphandlingen, ökar det chanserna att erhålla anbud som motsvarar och tillgodoser behov och mål. Om förarbetet brister ökar det istället risken för ett otydligt underlag, där önskat läge och målbild förmodligen inte framgår så tydligt som det skulle behövas för att nå dit man vill, t.ex. en region att leva och verka i med en attraktiv kollektivtrafik. Det blir även svårare för trafikföretagen att förstå vad RKM söker.

Rätt och tillräckliga resurser 

Det är viktigt att ha en sammanhållen projektgrupp med tillräckliga resurser under hela upphandlingsprocessen. Ofta krävs flera kompletterande kompetenser inom organisationen för att lyckas med hela upphandlingen inklusive ändamålsenliga kvalitetskriterier – särskilt när mervärden ska definieras och sedan utvärderas.  

Säkra tillräcklig förmåga och en god lägsta nivå på leverans

Det är viktigt att genom kvalificeringskrav säkra så att alla trafikföretag vars anbud utvärderas har tillräcklig förmåga och erfarenhet i förhållande till uppdragets komplexitet. Därtill behöver det säkras att de krav som ställs på hur uppdraget ska utföras tydligt uttrycker en lägsta godtagbara leveransnivåer som också följs upp och mäts. Först då kan valda kvalitetskriterier verkligen fokusera på framåtblickande aspekter såsom t.ex. utvecklingsförmåga och generella kvalitetshöjande moment kopplat till trafikuppdraget. Kvalitetskriterier ska syfta till att fastställa det bästa anbudet, inte säkerställa trafikföretagets grundförmåga eller kvalitet i basleverans.

Vad är ett mervärde?

Att definiera vad som är ett mervärde i upphandlingen ökar sannolikheten till en kvalitativ trafikleverans. Mervärdet måste definieras, det handlar om att maximera kvalitet i förhållande till kostnad och budget – dvs. mest kollektivtrafik för pengarna. Givet aktuella förutsättningar ska mervärdet definieras utifrån behov och mål. Om det inte framgår vad som kommer att premieras och hur det kommer att värderas, är det sannolikt att trafikföretagen inte förstår vad de ska fokusera på i sitt anbudsarbete och hur de ska bygga och skapa sitt erbjudande. Konsekvensen kan då bli att anbuden inte motsvarar förväntningarna,  vilket bl.a. kan leda till att mål inte realiseras eller kvaliteten motsvarar inte förväntningarna.

Anpassa kvalitetskriterierna till den aktuella upphandlingen 

Bestäm mervärden som ger mest nytta i relation till förutsättningarna och trafikuppdragets komplexitet. Beakta också om det finns begränsade resurser eller en stor projektgrupp att tillgå och om upphandlingen avser ett mindre komplext trafikområde eller ett mer komplext med flera möjliga förändringar. På så vis anpassas omfattningen av kvalitetsutvärderingen i förhållande till förutsättningarna och trafikområdet.

Ge kvalitet reell effekt

Vid utvärdering av kvalitet behöver kvalitetsviktningen ges en reell effekt i utvärderingen. Om kvalitet viktas för lågt i förhållande till pris blir risken överhängande att man erhåller prisfokuserade anbud. Anledningen är att trafikföretag, utöver att uppfylla samtliga krav, förmodligen inte ser nyttan i att erbjuda mervärden eftersom pris är utslagsgivande oavsett kvalitetskriterier.

Utlovade åtaganden kopplas ihop med kontraktet

Ange tydligt i utvärderingsmodellen att utlovade åtaganden kommer utgöra en del av kontraktet, med påföljder om utlovade löften inte hålls. Om utlovade åtaganden inte tvingas upprätthållas under avtalstiden finns risk att anbudet som tilldelades i praktiken inte var det bästa. Det riskerar också att leda till att syftet med kvalitetskriterier urvattnas.

Tydlig och transparent återkoppling i samband med tilldelningsbeslut

En central del i all kvalitetsutvärdering är återkopplingen till trafikföretagen i samband med tilldelningsbeslut – framförallt utifrån ett transparensperspektiv och förtroendet för gjorda bedömningar. Utvärderingsprotokollets utformning är därför viktigt och behöver spegla utvärderingsmodellens effekter och få respektive trafikföretag att förstå sin plats vid tilldelningen. Genom att lägga tid och engagemang på denna fas kan oförståelse och överraskade trafikföretag motverkas och troligen även risken för överprövningar.

God överlämning till förvaltningen av kontraktet

Det är viktigt att överlämningen till den egna organisationen innefattar en beskrivning av på vilka kvalitativa grunder trafikföretaget tilldelats kontraktet och hur dessa är kopplade till uppföljning under kontraktstiden. Detta för att säkra en effektiv uppföljning som säkrar att trafikföretaget genomför det som utlovats i anbudet.

Sammanfattande steg

För att lyckas definiera vilka mervärden som är tänkta att omvandlas till kvalitetskriterier är det nödvändigt att på förhand definiera målen för trafikuppdraget. Aspekterna i detta förberedande arbete kan vara både i stort och smått – alltifrån kostnadsaspekter, hållbarhet, högre punktlighet till innovationslösningar eller en effektiv lokal marknadsföring. I detta arbete behövs även beslut tas om vilka delar som ska kravställas, och/eller utformas som kontraktsvillkor. Man behöver även överväga vilka utmaningar som finns kopplade till uppdraget, både de som redan är kända och sådana som kan uppstå samt utmaningar som mot bakgrund av samhällsutvecklingen och ny miljöteknik kan komma att uppstå. Genom att noggrant överväga dessa aspekter blir det enklare att definiera mål och behov, och därigenom både utforma kvalitetskriterier och skilja på sådana aspekter som istället behöver kravställas och sådana mål som inte bör eller ska prioriteras av olika anledningar.

Steg 1: Vad har vi för mål?

Trafikförsörjningsprogrammet och andra måldokument kopplade till trafikområdet är en god början att utgå ifrån. Samtidigt innehåller dessa ofta övergripande och generella målbeskrivningar som kan behöva konkretiseras för att de ska fungera som såväl krav som kvalitetskriterier eller kontraktsvillkor.

Tidigt i processen bör prioritering göras mellan olika mål eftersom det kan vara svårt att koppla samtliga till uppdraget och framförallt till kvalitetskriterier. Kvalitetsutvärdering behöver inte bli så omfattande – ett mervärde kan räcka och leder då inte till ett omfattande merarbete.

Exemplen ovan är förslag på övergripande mål som förekommer i upphandlingar av kollektivtrafik och som kan tjäna som utgångspunkt/vägledning när mål ska formuleras.

Steg 2: Vilka egenskaper har målen?

När målen är definierade behöver man planera hur dessa kan realiseras, t.ex. vilka egenskaper kan mål mätas mot och vilka förutsättningar krävs för att ett mål ska nås? Säkra hur målen kan kontrolleras och följas upp i realiteten, troligen behöver de brytas ned i delmål för att kunna konkretiseras och användas.

Det är också viktigt att det av underlaget framgår hur respektive mål kommer att följas upp under avtalstiden. I detta avseende är det därför viktigt att säkra resurser, rätt kompetenser och i förekommande fall även relevanta systemstöd för att kunna genomföra olika kontroller och uppföljningar.

Steg 3: Hur ska respektive mål inkluderas i upphandlingen?

Besluta vilka mål som är viktiga för det kommande trafikuppdraget. Även om det inte är självklart att samtliga krav och mervärden behöver kosta mer, analysera ändå vad verksamheten är villig att betala mer för. I detta steg är det viktigt att särskilja måsten från mervärden.

Ett absolut behov eller en lägsta kvalitetsnivå, som alltid behöver upprätthållas, ska inte utvärderas. Däremot kan ett ev. övervärde av ett krav utvärderas – men då utgör kravet redan en lägsta godtagbar nivå. När man kommit fram till detta behöver varje mål omvandlas för att sedan inkluderas i upphandlingen i någon av stegen här ovan.

Steg 4: Vilka mål ska inkluderas i utvärderingen?

Mål som ska användas som mervärden i en kvalitetsutvärdering behöver  varaktigt förbättra och utveckla uppdraget. Därför är det viktigt att välja mål som skapar rätt förutsättningar och drivkrafter för båda parter i det kommande kontraktet. 

Fundera över följande:

  • Vilket eller vilka mål ger mest rätt fokus i förhållande till kommande uppdrag? 
  • Av dessa, vilka är rimliga och möjliga att följa upp? Inkludera inte mål som inte kan eller inte avses att följas upp.
  • De valda målen, skapar de rätt förutsättningar och god balans när de omvandlas i upphandlingens olika faser (bilden ovan) i förhållande till uppdragets övergripande mål?

Steg 5: Val av utvärderingsmodell och viktning

Oavsett vilka kvalitetskriterier som utvärderas måste den utvärderingsmodell som väljs passa den aktuella upphandlingen. Huvudsakligen finns två utvärderingsmodeller – en relativ modell och en absolut modell. Den senare benämns oftast som ”mervärdesmodellen” och är även att förespråka, bl.a. mot bakgrund av förutsebarhet. Det måste också beslutas om hur viktningen av kvalitet ska förhålla sig till helheten. Det är centralt att mervärdet ges en reell effekt i förhållande till hela utvärderingspriset.

Om mervärdet i praktiken inte ger tillräckligt utslag leder det till flera konsekvenser, där en risk är att trafikföretaget väljer att istället offerera ett lägre pris utifrån ett tids- och kostnadsperspektiv. Säkra därför vad uppdraget kommer omsätta och bestäm därefter en god balans kring kvalitetens värde i förhållande till helheten. Tänk på att kvalitetskriterier genom mervärden inte nödvändigtvis behöver kosta mer. Det gäller även om mervärdet viktas till en viss monetär nivå, exempelvis så kan ett visst angreppsätt (som anbudsgivaren ska beskriva) till ett verklighetstroget problem (t.ex. stora framkomlighetsproblem vid en större vägkorsning) utvärderas. I dessa fall är det trafikföretagets förståelse för problemet och förslag på lösning som premieras – vilket inte behöver påverka anbudspriset.

Väljs flera olika mervärden är det viktigt att beskriva hur de sinsemellan kommer viktas – på så vis ökar trafikföretagens förståelse för prioriteringen mellan kriterierna. Efter beslut om viktningen av kvalitetskriterierna, bör man simulera olika situationer genom att använda fiktiva anbud och priser. Detta för att öka förståelsen för hur olika scenarier kan uppstå, för ett sedan göra ev. nödvändiga justeringar före annonsering, t.ex. om man ser att det kan manipuleras.

Steg 6: Omvandla målen till mervärde

I detta steg är det dags att omvandla mål till mervärden. Att definiera mervärden och framförallt beskriva vilka bedömningsgrunder och poänggivande förhållanden som anbuden kommer att bedömas utifrån är oftast det svåraste momentet i uppbyggnaden av kvalitetsutvärderingen. Det krävs ett grundligt förarbete kring målbild för att kunna beskriva tillräckligt transparanta och affärsmässiga bedömningsgrunder.

Ju mer tid och förståelse som läggs ned på att klargöra vad som är mervärde, desto bättre blir förutsättningar att förstå vad som är poänggivande förhållanden för att sedan beskriva dem. I detta steg bör även aktuella förutsättningar och kommande behov beaktas vid utformningen av kvalitetsutvärderingen, t.ex. utvärdera ett mervärde istället för flera beroende på hur förutsättningarna ser ut. Fundera också på hur ett mervärde bäst kan nås/bevisas av trafikföretaget, är det exempelvis en beskrivning som lämpar sig bäst eller kan mervärdet nås genom att beskriva vad som ska nås och anbudsgivare därefter väljer om det kan erbjuda mervärdet eller inte?

Steg 6: Exempel

Nedan anges ett exempel som illustreras genom en beskrivning av stegen i att utforma ett mervärde där anbudsgivaren ska beskriva hur ett mervärde nås. Förslaget är förhållandevis omfattande för att illustrera hur mycket man faktiskt kan bygga in i ett enda kriterium och vad som då är viktigt att tänka. Självklart kan ett kriterium vara betydligt mindre omfattande också, självklart kan man också använda flera kriterier.

Exemplet bygger på att trafikföretaget ska nå målet med uppgiften (jämfört med kriterier som kan vara kopplade till ett mer övergripande mål med trafikuppdraget. Sådana är ofta generellt utformade och av naturliga skäl kan det i det avseende bli ”luddigt” att förstå vad som efterfrågas för att nå ett mål). Genom att istället smalna av och tydligt styra syftet med kriteriet kan det underlätta transparensen och trafikföretagets förståelse för målbilden med att utvärdera det valda kriteriet.

I detta förslag är mervärdet – vilket såklart kan bytas till ett annat – ”En ständigt optimal samverkan”, där huvudmålet är ”Trafikutveckling”. Självklart kan omfattningen minskas och t.ex. avse en fråga. Notera att utformningar av kriterier kan se ut på många olika sätt, t.ex. om avdrag eller påslag vill användas och hur stora de ska vara eller ev. sidobegränsningar i hur omfattande redogörelserna får vara. Det som illustreras och exemplifieras nedan är alltså stegen som behövs – oaktat val av kvalitetskriterium. 


1. Beskriv inledningsvis varför just detta mervärde kommer att utvärderas – det ökar anbudsgivarens förståelse för målet
.
Ett exempel kan vara:

”Vi (RKM) har valt att utvärdera ”En ständigt optimal samverkan” eftersom vi bedömer att hur samverkan kommer bedrivas inom uppdraget och kontinuerligt anpassas utefter nya behov och förutsättningar kommer öka chanserna till måluppfyllelse inom den trafikutveckling vi önskar se.”  


2. Bestäm vilken viktning som kriteriet ska ges och vad det maximala mervärdet är samt respektive ev. övriga skalor.
Ett exempel kan vara:

”Vi (RKM) kommer att tilldela kontrakt till det anbud som har lägst utvärderingspris. Det högsta mervärdesavdrag som kan genereras uppgår till 10 000 000 MSEK” (vilket i detta fall utgör 25 procents viktning av utvärderingspriset) och sedan beskrivs övriga lägre avdrag, se ett exempel nedan.  

3. Fundera och bestäm hur frågan till anbudsgivarna ska formuleras (i detta fall kring samverkan) samt vilka delar/aspekter som redogörelsen ska inkludera.
Det är viktigt att frågor inte blir för vida/öppna, istället bör de precisera vad anbudsgivare ska redogöra för. Frågan måste formuleras så att den möjliggör en utvärdering av inkomna förslag och lösningar. Ett exempel på fråga kan vara:

”Hur föreslår ni att samverkan bör bedrivas samt med vilka relevanta intressenter kopplat till uppdragets förutsättningar och lokala behov för att öka sannolikheten till måluppfyllelse?” 

Fundera över hur redogörelser avgränsas och konkretiseras samt hur anbudsgivare kan inkludera ”bevisbara” redogörelser och exempel, t.ex. förslag på metoder, processer och systemstöd eller en viss erfarenhet.
Ett exempel kan vara:

”Beskrivningen anger:

• vilket/vilka arbetssätt som föreslås och varför kopplat till målet samt hur arbetssättet kommer följa utvecklingen och beakta kostnadseffektivitet, 

• konkreta förslag på processer/metoder och aktiviteter och åtgärder som trafikföretaget föreslår samt i förekommande fall relevant erfarenhet (inklusive trepartssamverkan) där trafikföretaget exemplifierar hur den tidigare erfarenheten kan addera mervärden till det aktuella uppdraget, och

• vilka roller och ansvar respektive part och aktör har och varför.”

Redogör för vad anbudsgivaren ska förhålla sig till vid utformningen. Dessa kan exempelvis utgöras av angivna ramar och beskrivningar, t.ex. maximalt svarsutrymme genom antal sidor, typsnitt, teckenstorlek och om anbudsgivaren får hänvisa till annat material (ofta är det mest lämpligt att alla kvalitetsredogörelser hålls helt isolerade från övriga anbudshandlingar eftersom det blir enklare och alla anbud bedöms lika utifrån detta perspektiv). Ett exempel kan vara:

”Beskrivningen får maximalt uppgå till sex A4-sidor samt ha typsnitt Times New Roman och teckenstorlek 11 ska användas. Illustrationer och tabeller eller liknande får användas. Hänvisningar får inte ske till övriga delar av anbudshandlingarna utan beställaren kommer endast bedöma den inkomna redogörelsen. Eventuella hänvisningar till andra delar av anbudet kommer inte att beaktas.” 

Baserat på stegen ovan behöver sedan bedömningsgrunder anges där det framgår vad som är ett mervärde och ett poänggivande förhållande, dvs. vad är målet med uppgiften som ska redovisas. Denna del är den viktigaste, den behöver vara tillräckligt förutsebar och förklara vad som är poänggivande förhållanden, dvs. trafikföretaget behöver förstå vad det bästa ”drömscenariot” är givet det som trafikföretaget ska redogöra för. Det bör/får inte uppstå situationer när RKM – i efterhand kommer på vad som var ett mervärde – eftersom det inte har kunnat förutses av trafikföretagen. Det centrala är därför att beskriva vad som är poänggivande förhållanden, utan att för den sakens skull begränsa eller inskränka olika arbetssätt eller förslag på olika lösningar. Tänk också på att förslaget nedan kräver att bedömningen och värderingen av förslagen prövas mot det angivna (i detta fall det som anges nedan) – det ökar transparensen och möjligheten att behandla alla anbud lika. Ett exempel kan vara:

Mål med uppgiften inom ”En ständigt optimal samverkan”Trafikföretaget har på ett övertygande sätt redogjort för föreslaget arbetssätt, vilket är välmotiverat där det också uppenbart framgår hur det är kopplat till angivet mål. Av redogörelsen framgår på ett trovärdigt sätt hur föreslaget arbetssätt beaktat utgångsläget för trafikområdet samt framgår – genom flera olika konkretiserade aktiviteter och åtgärder – hur och varför arbetssättet ständigt behöver och kommer anpassas utefter nya behov och allmän samhällsutveckling under hela kontraktsperioden. Genomgående i redogörelsen går att utläsa hur arbetssättet ständigt ser till kostnadseffektivitet samt på vilka sätt och hur det motverkar kostnadsökningar. Redogörelsen klargör tydligt såväl trafikföretagets som beställarens roll och anledningen till fördelningen. Den beskriver också övriga nödvändiga aktörer, vilka roller de har samt varför de är relevanta kopplat till målet. Överlag beskrivs tydligt hur och varför föreslaget arbetssätt förstärks genom tidigare väsentliga erfarenheter (där trepartssamverkan har varit en central del och där erfarenheterna tydlig kopplas till aktuellt uppdrag) och goda exempel – som nu bidrar till måluppfyllelse, samt relevanta metoder/processer och hur de bidrar till måluppfyllelse. 

Det som beskrivs ovan ger anbudsgivaren en förståelse för vad beställaren söker och vilka delar som den behöver fokusera på för att nå ett ”drömscenario”, såväl med RKM:s mål som med uppgiften. Av ovan framgår exempelvis inget om vad som är en ”rätt motivering”, hur något blir ”trovärdigt”, vilka aktiviteter som ska konkretiseras, vilka roller som är nödvändiga eller vilka metoder och lösningar som beställaren bedömer är mycket relevanta – istället är det upp till varje anbudsgivare att fritt bestämma. Genom att beställaren styr mot ”vad” blir det upp till anbudsgivaren att presentera ”hur”.

Det är också viktigt att i anslutning till detta klargöra att utlovade åtaganden ska efterlevas av trafikföretaget.
Ett exempel kan vara: 

”Det trafikföretag som tilldelas kontrakt ska tillämpa det som det svarat på ovan under uppdragets genomförande. Det kommer således utgöra en del av trafikkontraktet genom kontraktsvillkor, vilket beställaren också kan komma att följa upp. I de fall utlovade åtaganden kring samverkan inte efterlevs kommer beställaren att tillämpas punkten X i kontraktet.” 

Sista delen behöver såklart anpassas utefter kontraktet.

4. Beskrivningen kring hur de olika mervärdena kan nås måste tydligt kopplas ihop med målet med beskrivningen. Det handlar om att definiera hur och mot vad trafikföretagets inkomna redogörelser kommer bedömas mot, dvs. i detta fall mot ”drömscenariot” enligt beskrivningen, och vilket avdrag som kommer generas. 

Exempel:

För 10 000 000 MSEK i mervärdesavdrag: Beskrivningen möter helt målet med uppgiften och innehåller samtliga eller till största del alla efterfrågade beskrivningar. Föreslaget arbetssätt inom samverkan är i alla delar väsentligen kopplat till trafikuppdragets förutsättningar och mål, samt konkretiserat och välmotiverat genom exempel på relevanta erfarenheter och aktiviteter/åtgärder. Sammantaget ger beskrivningen stora mervärden för beställaren och ökar stort sannolikheten för måluppfyllelse kring en ständigt optimal samverkan.

För 6 500 000 MSEK i mervärdesavdrag: Beskrivningen möter i stora delar målet med uppgiften men viss förbättringspotential finns, tex. i efterfrågade beskrivningar och/eller hur tydligt de framgår. Föreslaget arbetssätt inom samverkan är till stor del kopplat till trafikuppdragets förutsättningar och mål, men hade kunnat vara ännu starkare. Föreslaget arbetssätt inom samverkan är till stor del konkretiserat och motiverat genom exempel på viss relevant erfarenhet och aktiviteter/åtgärder, däremot hade det kunnat vara tydligare och mer konkret. Sammantaget ger beskrivningen mervärden för beställaren och ökar sannolikheten för måluppfyllelse kring en ständigt optimal samverkan.

För 3 000 000 MSEK i mervärdesavdrag: Beskrivningen möter delvis målet med uppgiften men stor förbättringspotential finns, tex. i efterfrågade beskrivningar och/eller hur tydligt de framgår. Föreslaget arbetssätt inom samverkan är till viss del kopplat till trafikuppdragets förutsättningar och mål, men hade kunnat vara mycket starkare. Föreslaget arbetssätt inom samverkan är delvis konkretiserat och motiverat genom exempel på delvis relevanta erfarenhet och aktiviteter/åtgärder, däremot hade det kunnat vara mycket tydligare och mer konkret. Sammantaget ger beskrivningen vissa mervärden för beställaren och ökar delvis sannolikheten för måluppfyllelse kring en ständigt optimal samverkan.

För O MSEK i mervärdesavdrag: Beskrivningen möter inte målet och/eller innehåller inga eller få efterfrågade beskrivningar. Det beskrivna har inga mervärden för beställaren för att nå ett mervärdesavdrag.

5. Sista steget har med återkopplingen till trafikföretaget att göra. Den är central och knyter ihop kvalitetsutvärderingen – särskilt vid mer omfattande bedömningar av inkomna förslag, t.ex. som exemplet ovan. Därför bör utvärderingsrapporten spegla bedömningen och beskriva varför tilldelat mervärdesavdrag erhölls för respektive anbud.

Ett exempel kan vara (som såklart behöver anpassas utefter det specifika anbudet, men poängen som illustreras är att anpassa protokollet efter det unika anbudet – inte använda en generisk återkoppling för alla med samma poäng): 

Anbud som erhållit 6 500 000 MSEK i mervärdesavdrag:
Beskrivningen möter i stora delar målet, däremot hade valet av förslaget kunnat motiverats än mer, t.ex. i de avseenden som X och X. Angivna aktiviteter och konkreta lösningar hade kunnat framgå tydligare och mer konkret, även om det delvis framgår hade de till antal och konkretisering kunnat förbättrats, bl.a. genom att tydligare beskriva X och X. Förslaget hade ännu tydligare kunnat kopplats till målet genom att tydligare beskriva kopplingen till nuläget och aktuella förutsättningar. Beskrivningen hade kunnat visa på en tydligare koppling mellan tidigare erfarenheter kring trepartssamverkan och hur det bidrog till aktuella mål, det framgick inte så konkret, bl.a. saknades X, och tidigare erfarenheter var inte tillräckligt konkretiserade för att kunna bedöma relevansen. Även förslag på aktiviteter/åtgärder hade kunnat utvecklats något och blivit mer konkreta till trafikuppdraget, exempelvis framgick inte X vilket gjorde att det var svårt att bedöma denna del. Sammantaget ger beskrivningen mervärden för beställaren och ökar sannolikheten för måluppfyllelse kring en ständigt optimal samverkan.

Det som illustreras ovan följer uppgiften i punkten 3 ovan (frågorna och målet med uppgiften). På så vis har beställaren hållit sig helt inom och följt vad den har sagt att den ska bedöma och värdera, även om beställaren mest sannolikt har utvärderat väldigt olika beskrivningar ingivna av anbudsgivarna. Bedömningen och värderingen har dock skett mot samma struktur och mall. 

Sista steget har med återkopplingen till trafikföretaget att göra. Den är central och knyter ihop kvalitetsutvärderingen – särskilt vid mer omfattande bedömningar av inkomna förslag, t.ex. som exemplet ovan. Därför bör utvärderingsrapporten spegla bedömningen och beskriva varför tilldelat mervärdesavdrag erhölls för respektive anbud. Ett exempel kan vara (som såklart behöver anpassas utefter det specifika anbudet, men poängen som illustreras är att anpassa protokollet efter det unika anbudet – inte använda en generisk återkoppling för alla med samma poäng):

Fördjupning, allmänt

Som nämndes inledningsvis finns mycket att vinna genom att utvärdera olika mervärden inom kollektivtrafik. De svårigheter som finns i den praktiska tillämpningen omhändertas primärt i förberedelsearbetet. Den grundläggande svårigheten beror på kombinationen av att utforma transparenta kvalitetskriterier trots att man inte vet vad anbudsgivare kommer att svara och det faktum att man inte vill begränsa konkurrensens kreativitet eller tvinga trafikföretag till givna lösningar.

Utmaningarna finns dels i kvalitetskriterierna i sig, dess poängskalor och om motiveringarna är tillräckligt tydliga eller inte utifrån transparensprincipen. Dels också i om RKM har följt upphandlingsdokumentationen vid utvärderingen, inte tagit ovidkommande hänsyn och om den bedömt anbuden på ett likabehandlande sätt utifrån likabehandlingsprincipen.

Krav eller mervärden

En viktig del vid utformningen av upphandlingsdokumentationen är att särskilja krav från kvalitetskriterier (mervärden). Anledningen beror på flera olika aspekter. För det första får inte trafikföretagets grundläggande förmåga och kapacitet utvärderas utan sådana aspekter ska säkerställas genom kvalificeringskrav. Anledningen till detta är att kvalificeringsfasen och utvärderingsfasen består av två skilda moment, om trafikföretagets grundläggande förmåga utvärderas riskerar det att strida mot proportionalitetsprincipen och likabehandlingsprincipen, se prisutvärdering i vägledningen för upphandling.

En annan aspekt – som kanske är den viktigaste – är att RKM genom att definiera ska-krav ska säkerställa en tillräckligt god lägsta nivå – oavsett om det avser trafikleverans, bemanning och organisation, störningshantering, säkerhet eller fordonsvård. På så vis kravställs en tydlig lägsta nivå som också kan kopplas till ”avtalad” exempelvis kvalitet eller omfattning, som också kan följas upp under kontraktet i syfte att säkra att utlovad nivå erhålls.

Om ska-krav, funktionskrav eller kontraktsvillkor inte säkrar en tillräckligt lägsta godtagbar nivå kring såväl trafikföretagets förmåga som uppdragets utförande, eller om det ställs för låga eller otydliga krav som inte speglar det som verkligen behöver säkras, medför det risker. Framförallt för att RKM riskerar att tilldela ett trafikföretag som inte har tillräcklig förmåga att driva uppdraget som önskat och – sett till kontraktuppföljningen – kan det bli svårt att fastslå att och hur ett trafikföretag inte lever upp till avtalad kvalitet eller omfattning, då kravnivågränsen är oklar.

Vägledning Kvalitet

En annan anledning till varför det är viktigt att särskilja krav från mervärden är att LUF:s syfte med kvalitetskriterier är att premiera just mervärden. Det vill säga övervärden från ska-krav eller aspekter som önskas men som inte är måsten, som RKM är villig att betala för eller aspekter som värderas eftersom det bedöms att mervärdet har en reellt positiv effekt på uppdragets utförande och som väsentligt bidrar till måluppfyllelse – trots att det inte behöver kosta mer. I sammanhanget är det även viktigt att omvandla de mervärden som kan erhållas och vad sådana betyder sett till målbilden – dessa i sig kan vara en vinst som också ska ställas i relation till anbudspriset. 

I praktiken ska alla trafikföretag kunna erhålla noll i kvalitetsutvärderingen, RKM ska ändå vara trygg i att samtliga kvarvarande trafikföretag har tillräcklig förmåga att leverera och uppfylla en lägsta godtagbar nivå i och med att ska-kraven är uppfyllda. 

Det förekommer inom upphandling av kollektivtrafik att såväl nödvändiga förmågor hos trafikföretaget (som trafikuppdraget kräver) som absoluta behov ingår i kvalitetsutvärderingen istället för att kravställas. Som nämns ovan riskerar kvalitetsutvärderingen att fokusera på fel aspekter och ytterst innehålla aspekter som tar sikte på trafikföretagets grundläggande förmåga, som inte får utvärderas. Vidare riskerar också RKM att utvärdera aspekter som bör vara en självklarhet att alla trafikföretag, vars anbud som klarat samtliga ska-krav och nu utvärderas, uppfyller. 

Nödvändiga kvalificeringskrav kan exempelvis avse teknisk och yrkesmässig kapacitet i form av t.ex. erfarenhet av planerings- och trafikförsörjningskompetens, erfarenhet av att utföra uppdrag liknande det aktuella, såväl till karaktär som till omfattning, eller erfarenhet av att etablera nya trafikuppdrag. Kvalificeringskrav eller ska-krav kan även avse aspekter beträffande trafikföretags etablerade förmåga att löpande säkerställa en god löpande styrning av verksamheten i syfte att leverera en tillräckligt god trafikleverans, förmåga att löpande säkerställa en tillräckligt god bemanning och organisation eller löpande hantera och säkerställa nödvändig fordonstillgång eller hela och rena fordon. 

Självklart finns det mervärden inom alla nämnda aspekter och det är just sådana som bör utvärderas – inte grundförmågan. Dessa kan exempelvis avse lokalanpassade lösningar och effektiviseringar kring verksamhetsstyrningen, den lokala trafikorganisationen med tillhörande bemanning och hur den adderar mervärden eller specialanpassade och lokala arbetssätt kring fordonstillgänglighet eller säkerhet. 

Genom att säkerställa krav som ovan ska RKM vara helt trygg i att samtliga trafikföretags anbud som kommit till utvärderingsfasen har tillräcklig kompetens och förmåga att bedriva den aktuella kollektivtrafiken, det gäller oavsett om tilldelningsgrunden tar sikte endast på pris eller både pris och kvalitet, och då också oaktat vilka eventuella mervärden som uppnåtts i utvärderingen. På så vis utvärderas kvarvarande anbud utifrån perspektivet ”vilket anbud är allra bäst” utifrån de mervärden som uppställts – där kvalitetskriterierna ska fokusera på just detta – inte säkra en tillräckligt god förmåga hos trafikföretaget och leveransnivå beträffande uppdraget. Först då kan kvalitetskriterier fokusera på just mervärden, t.ex. med inslag av innovation, trafikutveckling och lokalanpassade lösningar för att t.ex. öka kundnöjdheten och nå målen för det aktuella trafikuppdraget. 

Kvalitetskriterier – legala utgångspunkter

När kontrakt tilldelas utifrån det bästa förhållandet mellan pris och kvalitet kan flera olika kvalitativa aspekter bedömas samt även sådana aspekter som har en påverkan på uppdraget under ett mer avlägset skede under avtalstiden. Vilken hänsyn och vilka mervärden som väljs är helt upp till RKM. Aspekterna kan avse alltifrån produktivitet, kostnadseffektivitet, förmåga till att utveckla uppdraget, olika kvalitets- och miljöegenskaper, tekniska och estetiska egenskaper till mer perspektiv utifrån ett livscykelskostnadsperspektiv såsom hur trafikföretaget arbetar med att hållbart återanvända fordon, minska utsläpp över hela uppdragets tid, säkra att komponenter till fordon är framställda under goda arbetsförhållanden eller hur trafikföretaget kommer arbeta med att främja arbete för personer som står långtifrån arbetsmarknaden. 

Utgångspunkten är alltså att det finns en betydande frihet att definiera behov och vad som vill tillmätas betydelse i utvärderingen. Vad en RKM tillmäter betydelse i en upphandling kan vitt skilja sig från vad en annan RKM tillmäter en annan – vilket såklart är helt naturligt och förenligt med upphandlingsregelverket.

De utgångspunkter som en RKM måste förhålla sig till är följande: 

Kvalitetskriterierna måste vara hänförliga till kontraktsföremålet, dvs. trafikuppdraget.  

Utformning och utvärdering måste ske i förenlighet med de grundläggande upphandlingsrättsliga principerna, dvs. kvalitetskriterierna måste vara tillräckligt förutsebara och möjliggöra att olika anbud, t.ex. olika lösningar och erbjudanden, utvärderas lika.

Kvalitetskriterierna får inte vara hänförliga till trafikföretagets förmåga att klara uppdraget, t.ex. krav på en viss erfarenhet, en tillräckligt god bemanning i förhållande till vad uppdraget kräver eller grundläggande förmåga att utföra uppdraget – sådana aspekter ska säkerställas genom kvalificeringskrav.  

Koppling till kontraktsföremålet

Hur stark kopplingen mellan kriteriet och kontraktsföremålet behöver vara är något som har prövats av domstolar ett flertal gånger. Exempelvis har kriterier som påverkar användarens uppfattning av en viss produkt ansetts ha en koppling till kontraktsföremålet (i detta fall rättvisemärkt kaffe, Max Havelaar C-368/10).Däremot går det inte att utifrån praxis klargöra var en exakt gräns går, istället måste RKM bedöma det i det enskilda fallet. Inom ramen för trafikuppdrag torde en tillåten koppling vara alla aspekter som påverkar trafikuppdraget positivt och har kvalitetshöjande aspekter, dvs. mervärden, samt även sociala och miljömässiga aspekter som beaktas när uppdraget utförs. Exempel på detta kan vara hur trafikföretaget återanvänder äldre fordon (fokus på skick istället för enbart ålder) för att optimera dess livscykelkostnad, arbetar med att sysselsätta personer som står långtifrån arbetsmarknaden eller kör särskilt miljövänligt (mer än vad effekten blir av ställda krav på t.ex. utsläpp). 

De grundläggande upphandlingsrättsliga principerna

Även kraven om tillräckligt transparenta, proportionerliga och likabehandlande kvalitetskriterier har varit föremål för domstolsprövningar ett flertal gånger. Inte heller här går det av rättspraxis att utläsa exakta gränser, däremot framgår att det finns ett förhållandevis stort utrymme för en RKM att använda kvalitetskriterier som medför ett visst subjektivt utrymme, t.ex. genom att bedöma olika lösningar eller beskrivningar. Det är även en uppenbar fördel att använda kvalitetskriterier när RKM kan värdera och bedöma olika lösningar i förhållande till angivna mål. Av naturliga skäl kan och bör de inte heller utformas helt objektiva eftersom syftet med att utvärdera skulle gå förlorat, vilket även framgår av rättspraxis. Det som framgår tydligt av rättspraxis är att ett trafikföretag på förhand måste förstå hur något kommer bedömas och vad RKM kommer tillmäta betydelse, t.ex. vad ger ett visst poäng och vad som är bra respektive mindre bra. Kriterier måste utformas så att de kan uppfattas på samma sätt och på förhand förstås hur de kommer bedömas av normalt omsorgsfulla anbudsgivare, se bl.a. målen C-19/00 SIAC Construction, C-448/01 Wienstrom, mål C-532/06 Lianakis och RÅ 1996 ref. 100). Det får därför inte uppstå situationer när RKM – i efterhand kommer på vad som var ett mervärde – eftersom det inte har kunnat förutses av trafikföretagen. Vidare krävs att anbudens olika beskrivningar och lösningar bedöms på ett objektivt och likabehandlande sätt. Om anbud utvärderas på olika sätt riskerar en RKM att åsidosätta likabehandlingsprincipen. 

Det är sällan vad som utvärderas som underkänns av domstolar. Det som underkänns är vaga och otydliga kvalitetskriterier och framförallt vad som är ett poänggivande förhållande alternativt bedömningsgrund. Konsekvensen med vaga och otydliga kvalitetskriterier är också att trafikföretag riskerar att utforma anbud utifrån gissningar om vad den tror en RKM kommer tillmäta betydelse. Detta kan bli olyckligt utifrån flera perspektiv, dels för att anbud hade kunnat utformats mer kostnadseffektiv och bättre anpassats utefter det RKM vill ha och dess mål, dels för att det kan fördyra anbudspriset eftersom trafikföretaget riskerar att ta höjd för sådant som inte premieras. Att säkerställa förmåga att kunna utforma kriterier samt säkra god tid på att utforma väl genomarbetade kvalitetskriterier ökar RKM:s möjlighet att få mer konkurrenskraftiga anbud eftersom trafikföretag kan fokusera på vad RKM önskar och premierar – istället för att försöka förutse vad som kanske kan betraktas vara ett mervärde.

Kvalitetskriterier får inte hänföra sig till trafikföretagets förmåga

Som utgångspunkt får endast anbud från de trafikföretag som har kvalificerat sig i upphandlingen utvärderas. Prövningen av anbud består alltså av en kvalificeringsfas och en utvärderingsfas. Kvalificeringsfasen syftar kort sagt till att säkerställa att leverantörerna har tillräcklig ekonomisk- och finansiell förmåga samt teknisk- och yrkesmässig kapacitet som krävs för att utföra trafikuppdraget som ska tilldelas, medan utvärderingsfasen syftar till att fastställa det bästa anbudet utifrån de kriterier som RKM har ställt upp. Att prövningen består av två olika faser har bekräftats av flera domstolsavgörande och styrs av olika bestämmelser. Se exempelvis målen C-31/87 Beentjes och C-532/06 Lianakis. Av avgörandena framgår kvalificeringsfasen och utvärderingsfasen är två skilda moment som omfattas av olika bestämmelser.

Om kvalitetskriterier har för stor fokus på att säkerställa en grundläggande förmåga riskerar en RKM att otillåtet sammanblanda kvalificeringskrav och kvalitetskriterier, vilket har underkänts av domstolar vid ett flertal gånger. Det otillåtna beror på att kriterierna har för stor koppling till trafikföretagets grundläggande förmåga istället för kopplingen till det aktuella trafikuppdraget. I detta avseende är det framförallt sådant som är relaterat till teknisk- och yrkesmässig kapacitet, exempelvis säkerställande av en tillräcklig organisation, dokumenterat erfarenhet, kapacitet att etablera nya trafikuppdrag, leda och organisera ett uppdrag inom kollektivtrafik eller strukturerade arbetssätt att arbeta med kvalitetsrutiner i verksamheten.

Anledningen till bestämmelserna är att ett trafikföretag ska vara trygga i att det har tillräcklig förmåga, genom att klara ställda kvalificeringskrav, och att det i utvärderingen tävlar om det bästa anbudet. En annan anledning är att säkra att trafikföretaget har tillräcklig förmåga att leverera och fullgöra hela trafikuppdraget.

Läs mer om vikten att särskilja kvalificeringskrav och kvalitetskriterier.

Övrigt

Överlag krävs också att kvalitetskriterier kan följas upp och utsättas för en verklig kontroll, däremot finns det ingen skyldighet för RKM att faktiskt genomföra en kontroll – det står RKM fritt att bestämma. Se bl.a. prop. 2009/10:180, s. 273, med hänvisning till mål C-448/01 Wienstrom. 

Genom att tydligt knyta ihop utlovade åtaganden – oavsett vilka de är – med kontraktsvillkor och uppföljning säkras också att utlovade åtaganden faktiskt upprätthålls och att RKM får det som trafikföretaget utlovat. Det är också viktigt för att över tid motverka en urvattning av kvalitetskriterier, t.ex. om tilldelat trafikföretag inte upprätthåller vad det utlovat motverkas en resurseffektiv användning av offentliga medel samt hade kanske ett annat trafikföretags anbud i praktiken varit det ekonomiskt mest fördelaktiga.

Överprövningar avseende kvalitetsutvärderingar

Det finns en mängd nationella domstolsavgöranden inom alla typer av upphandlingsföremål som såväl godkänner som underkänner kvalitetskriterier. Det finns även avgöranden från EU-domstolen som rör just kvalitetskriterier, som svenska domstolar också måste förhålla sig till. (Exempelvis C-6/15 Dimarso) Trots all rättspraxis går det inte att dra några exakta slutsatser kring hur kvalitetskriterier ska utformas eller vart olika gränser för tillräckligt tydligt går. I sammanhanget är det däremot viktigt att förstå att en ökad transparens i alla kvalitetskriterier ökar affärsmässigheten i anbud – eftersom trafikföretag kan erbjuda mer konkurrenskraftiga lösningar om de förstår vad som är ett mervärde och poänggivande förhållande. Fokus och målet vid utformningen av kvalitetskriterier bör därför inte vara att finna vad som ev. är juridiskt ”tillräckligt transparent” enligt en domstol, utan istället vad en anbudsgivare behöver förstå för att utforma ett konkurrenskraftigt anbud.

Självklart påverkar också svårighetsgraden av hur omfattande en kvalitetsutvärdering är. Att utvärdera och bedöma en kvalitetsaspekt, där anbudsgivaren ombetts redogöra ett förslag på tre A4-sidor, är enklare än i de fall där kanske 10 olika kvalitetsaspekter som ska redogöras på 150 A4-sidor kommer bedömas och värderas. Ingetdera är såklart fel och ska ställas i relation till behovet, däremot bör man tänka på att situationerna kräver olika förarbeten och insatser hos RKM.

Svenska domstolsavgöranden som underkänt kvalitetskriterier avser mindre sällan valet av utvärderingsmodell, dvs hur utvärderingsmodellen fungerar, t.ex. om anbudsgivaren får påslag eller avdrag på priset, eller vilka kvalitetskriterier som valts av den upphandlande myndigheten eller enheten. Det som underkänns hänför sig oftast till att det inte tillräckligt tydligt framgår vad myndigheten tillmätt betydelse, alltså vad som har varit ett poänggivande förhållande och därmed gett ett visst mervärde, t.ex. vad ska framgå av exempelvis en beskrivning för att nå ett visst poäng. Flera utvärderingsmodeller inom upphandling av kollektivtrafik är många gånger omfattande, där trafikföretag många gånger ombeds redogöra för olika aspekter upp till 100 A4-sidor, ibland fler, vilket ökar behovet av förutsebarhet.

En upphandling som överprövats och som ofta nämns inom kollektivtrafikupphandlingar kopplat till kvalitetsutvärderingar är upphandlingen av Krösatågen. De aktuella kvalitetskriterierna underkändes av domstolen, se förvaltningsrätten i Jönköpings meddelande dom i mål 6154-17 m.fl. Det som underkändes avsåg inte utvärderingsmodellen (mervärdesmodell) utan berodde på för öppna och vida frågor i förhållande till uppdragets komplexitet och längd, som även lämnade utrymme till att besvara frågorna på flera olika sätt.

Domstolen menade även att det saknas en beskrivning av hur svar skulle utformas och vilka moment som skulle ingå i svaren. Enligt domstolen uppstod då ett betydande utrymme för anbudsgivare att göra olika tolkningar och besvara frågorna på olika sätt. In sin tur medförde även detta en betydande risk att svaren skulle skilja sig åt så pass mycket i fråga om innehåll, att de inte kunde läggas till grund för en rättvisande jämförelse av vilket anbud som faktiskt offererat högst kvalitet i förhållande till anbudspriset. Domstolen lyfte också fram att poängskalan kunde uppfattas som att den innehöll ett kvalificeringsmoment eftersom poäng 0 respektive 1 poäng skulle leda till att anbud förkastades (notera i sammanhanget det som nämns i avsnittet Legala utgångspunkter och i Vägledningen för kollektivtrafik). Samtidigt klargjorde domstolen att det inte finns något krav att kvalitetskriterier ska vara definierade på ett sådant sätt att anbudsgivarna på förhand kan räkna ut exakt vilken poäng deras anbud kommer att få. Det krävs heller inte kriterier ska utformas så att det exakt ska kunna fastställas i efterhand vilket poäng ett anbud skulle ha tilldelats. Domstolen menade också att även om kvalitetsbedömningar och poängsättningar ska göras utifrån objektiva omständigheter, utesluter detta inte ett visst bedömningsutrymme. Däremot måste anbudsgivare ges en rimlig vägledning angående vad som krävs för att nå en viss poäng och hur de olika poängnivåerna är avgränsade från varandra.

Det kan noteras att Jönköpings förvaltningsrätt inte beaktade EU-domstolens avgörande i mål C-6/15 (nämns ovan). Samtidigt beaktade inte heller EU-domstolen i det avgörandet hur för öppna och oförutsebara bedömningsgrunder förhåller sig till skyldigheten att säkerställa att offentliga medel används resurseffektivt och att tilldelningskriterier ska leda till att identifiera det bästa anbudet – något som kan bli motstridigt om trafikföretag, pga. vaga kvalitetskriterier, inte ges möjlighet att utarbeta, dvs. sina bästa anbud. Det återstår därför att se hur rättspraxis fortsättningsvis utvecklas inom just kvalitetskriterier för att finna en adekvat vägledning.

Alldeles oavsett rättspraxis, och de gånger domstolar såväl godkänner som underkänner överprövadekvalitetskriterier, eller som i de flesta fall – alla kvalitetskriterier som inte överprövas, är det sammanfattningsvis ännu bättre att utifrån ett anbuds- och affärsmässigt perspektiv utforma transparenta och förutsebara kvalitetskriterier. På så vis ökar trafikföretagens möjligheter att utforma konkurrenskraftiga anbud som också speglar det RKM vill premiera. Om trafikföretag inte i tillräcklig utsträckning förstår vad som efterfrågas eller vad som är poänggivande förhållanden är risken överhängande att erbjudna lösningar inte motsvarar vad RKM önskar, sannolikt för att trafikföretaget inte tillräckligt förstått vad som efterfrågats. En annan konsekvens är anbudspriset kan bli högre eftersom trafikföretags erbjudna lösningar och förslag – i tron om att det efterfrågas av RKM – kan driva investeringar och därmed ökade anbudspriser, trots det erbjudna inte var det RKM premierade. 

Genom att tydligt och omsorgsfullt definiera upphandlingens mål, för att sedan omvandla de till kvalitetskriterier och väldefinierade mervärden och tydligt poänggivande förhållanden, finns goda förutsättningar att kriterier blir tillräckligt transparanta och affärsmässiga, se exempel i steg 6 ovan.

Utvärderingsmodeller

Huvudsakligen finns två utvärderingsmodeller – en relativ modell och en absolut modell, där den senare ofta benämns som mervärdesmodell. Inom dessa två huvudmodeller finns sannolikt ett obegränsat antal utvärderingsmodeller, där det är upp till varje RKM att självständigt välja ur varje utvärderingsmodell ska tillämpas i praktiken. Inom upphandling av kollektivtrafik används primärt absoluta utvärderingsmodeller, som i grunden är olika typer av mervärdesmodeller. I praktiken betyder mervärdesmodellen att mervärdet på förhand är definierat, t.ex. i form av monetärt eller procentuellt avdrag eller påslag, och varje anbud värderas individuellt. I en relativ utvärderingsmodell värderas anbuden i relation till övriga anbud. Detta innebär att rangordningen mellan två anbud kan påverkas av vilka andra anbud som lämnats. 

Den absoluta utvärderingsmodellen är den som används mest och även den som förespråkas, särskilt för att den är mer transparent där mervärdet på förhand framgår samt för att anbuden utvärderas var för sig. Modellen kan utformas på en mängd olika sätta, t.ex. kan förutbestämda såväl avdrag som påslag erhållas på det totala utvärderingspriset. Det är vanligt att kvalitetskriterier utformas så att anbudsgivare ombeds förklara hur ett visst mervärde uppnås. Detta kräver mer förarbete eftersom RKM på förhand måste ange vilka bedömningsgrunder och poänggivande förhållanden som ska nås. Ett enklare sätt att använda mervärdesmodeller är att låta trafikföretaget ange om den vill erbjuda ett fördefinierat mervärde, se Kvalitetskriterier med förutbestämda mervärden nedan för mer information. 

Det viktiga vid användningen av olika mervärdesmodeller är att utforma en som passar den aktuella trafikupphandlingen bäst i förhållande till mål samt att viktningen av mervärden ges en reell betydelse. Man bör undvika att använda mervärdesmodeller som innebär att trafikföretag utesluts pga. för lågt uppnått mervärde. Detta eftersom syftet med kvalitetskriterier är att bedöma om trafikföretaget erbjuder givna mervärden eller inte, om RKM bedömer att vissa mervärdesnivåer måste uppnås för att kunna bli föremål för kontraktstilldelning bör den lägsta godtagbara nivån istället kravställas. Den kritik som finns mot relativa utvärderingsmodeller är just att ett visst anbud görs beroende av andra, och att rangordningen mellan två anbud kan påverkas av ett tredje mycket lågt anbud som många gånger inte ens kan bli föremål för kontraktstilldelning. Om RKM väljer att använda en relativ utvärderingsmodell bör det säkras att den inte öppnar upp för exempelvis osund strategisk anbudsgivning genom manipulation samt säkra förståelse för hur anbud kan påverkas av varandra. 

Viktning av kvalitet i förhållande till pris och inbördes viktning mellan olika kvalitetskriterier

Av upphandlingsreglerna framgår att kriteriets viktning måste framgå, t.ex. viktningen mellan pris och kvalitet, men även den inbördes viktningen mellan kvalitetskriterier i de fall fler kriterier används. I praktiken är det viktigt att också säkra att kvalitetskriterier ges en tillräckligt reell effekt för att det ha någon effekt i utvärderingen. Om man ser till större trafikupphandlingar, som omsätter mycket stora summor, får en kvalitetsviktning om t.ex. 10 procent inget särskilt genomslag. Ju större omsättningarna är för respektive upphandling desto mer måste kvalitetviktningen ges. Vid mindre upphandlingar, där omsättningen endast uppgår till några miljoner SEK per år kan 10 procents kvalitetsviktning få genomslag. Om den reella effekten blir för liten ska man vara beredd på att pris är utslagsgivande och att trafikföretaget inte väljer att offerera mervärden. Många gånger krävs det i realiteten en kvalitetsviktning om 25–30 procent av helheten för att det ska få ett tillräckligt genomslag i praktiken. 

För att landa i en god avvägning beträffande kvalitetsviktningar bör man först se till kontraktets helhet. Exempelvis kan en god utgångspunkt vara att se till kontraktets totala årsomsättning, här kan man behöva se till tidigare årsomsättningar för att hamna så nära verkligheten som möjligt. Det finns flera olika sätt att tänka på kring kvalitetsviktningar – det viktiga är att förstå vad man ställer kvalitet emot och vilken effekt det ger i själva utvärderingen, t.ex. utgör det en del av priset eller en del av helheten? Om man drar av en viss procent från det potentiella priset för att det ska utgöra kvalitetsviktningen så bör man vara medveten att 20 procents kvalitetsviktning av pris, inte utgör 20 procents kvalitetsviktning av helheten. Se exempel nedan som illustrerar detta. 

Huvudsakligen finns två sätt – där båda sätten är goda så länge man förstår effekterna av sin viktning och att man har ”räknat rätt”. Exempel, ett kontrakt uppskattas till 1 000 000 SEK, där kvalitet önskas viktas till 35 procent. Vald utvärderingsmodell ger 0 i påslag vid fullt mervärde och sedan påslag i en höjande skala.

Exempel 1

Pris utgör 1 000 000 SEK och 350 000 SEK är högsta kvalitetsbristpåslag (1 000 000/1 350 000 = 74%). Pris utgör alltså 74 % och kvalitet utgör 26 % i förhållande till priset och av helheten. 

Exempel 2

Pris utgör 1 000 000 SEK och ska viktas till 65 % av helheten medan kvalitet ska viktas till 35 % av helheten (1 000 000 = 0,65 x ”helheten” –> ”helheten” = 1 000 000/0,65 = 1 538 000). Helheten av den sammanlagda vikten mellan pris och kvalitet uppgår till 1 538 000 SEK, där 35 % viktning av kvalitet motsvarar 538 000 SEK i maximalt kvalitetsbristavdrag.

Inget av exemplen ovan är fel. Däremot synliggör de vilken reell effekt en viss viktning ges i praktiken – något som är viktigt att säkerställa vid utformningen av utvärderingsmodellen och dess viktning.

För att motverka osund strategisk prissättning eller att manipulation bör utvärderingsmodellen – oaktat val av modell – testas genom olika simuleringar innan upphandlingen annonseras. Hur simuleringen görs är beroende av valet av utvärderingsmodell, däremot är momentet viktigt för att säkra ett rättvisande och hållbart anbudspris.  

Mervärden och bedömningsgrunder

Som genomgående beskrivits i denna vägledning finns framgången med att lyckas med kvalitetskriterier i att lägga tid på förarbete och i tillräcklig utsträckning beskriva vad som kommer tillmätas betydelse och vad som är ett poänggivande förhållande. Som även framgår av praxis finns möjlighet till att göra förhållandevis subjektiva bedömningar – att det till och med krävs givet karaktären på det som ska utvärderas när man vill bedöma hur något ska genomföras. Däremot krävs en tillräcklig förutsebarhet kring mervärden och poänggivande förhållanden samt att trafikföretag på förhand ska kunna förstå hur anbud kommer bedömas. Det får inte uppstå situationer när RKM i efterhand kommer på vad som var ett mervärde, t.ex. ett visst anbud innehöll metoder och lösningar som aldrig efterfrågats, eftersom det inte har kunnat förutses av trafikföretagen. Mer transparens och förståelse för vad som vill uppnås med kvalitetskriterier minskar inte bara risken för ev. överprövning utan ökar också möjligheten för bättre lösningar och mer konkurrenskraftiga anbud – eftersom trafikföretag förstår vad som önskas.

Något som konstateras är att bedömningsgrunder som genom enstaka ord som exempelvis ”kostnadseffektivt”, ”realiserbart” eller ”konkret” i sig sällan ger trafikföretag den förutsebarhet som krävs för att förstå vad som efterfrågas. Istället behöver sådana bedömningsgrunder brytas ned ytterligare och i större utsträckning konkretisera vad som kommer bedömas inom t.ex. begreppet ”kostnadseffektivitet”. Det betyder inte att ”hur” något ska bli kostnadseffektivt behöver förklaras och definieras på förhand – det är upp till anbudsgivaren att beskriva, däremot behöver anbudsgivaren förstå vilka delar som kommer bedömas inom begreppet kostnadseffektivt.

Kvalitetskriterier med förutbestämda mervärden

I de fall kvalitetskriterier vill användas, men kanske insatser och förutsättningar gör så att RKM vill välja något enklare, är förutbestämda kvalitetskriterier ett gott alternativ. Genom att tydligt på förhand ange ett visst mervärde kan trafikföretaget välja om det vill erbjuda och uppfylla mervärdet eller inte. Genom att använda denna typ av kvalitetskriterier motverkas bedömningar av hur något uppfylls. Även om det krävs ett gott förarbete även för dessa kvalitetskriterier är det ofta enklare att uppfylla transparens samt sparas tid både för trafikföretaget och RKM. Ett bra utgångsläge kan vara att utgå ifrån t.ex. ett krav, för att premiera trafikföretag som kan erbjuda ett övervärde.

Det är viktigt att säkra hur mervärdet kan mätas och kopplas ihop med kontraktet. Detta kan se olika ut beroende på vilket typ av mervärde som väljs. Ett sätt att använda förutbestämda mervärden är att utgå ifrån ett ska-krav, dvs. den lägsta nivån som ska uppfyllas av samtliga trafikföretag. Mervärdet blir något som har ett övervärde – som trafikföretaget kan välja att offerera men behöver inte göra det. Det är särskilt lämpligt att använda dessa i situationer där ett högre krav hade varit olämpligt, t.ex. onödigt kostnadsdrivande eller begränsande sett till en viss marknad, eller när RKM kan acceptera en trafikleverans utan mervärdet, men är å andra sidan villig att premiera mervärdet om det kan offereras. Det kan också vara lämpligt att använda förutbestämda mervärden när det inte lämpar sig att ställa särskilda kontraktsvillkor eftersom de vid någon tidpunkt måste uppfyllas under kontraktets löptid, se Upphandling av busstrafik – en vägledning, Kontraktsvillkor för mer information.

En annan situation då det är lämpligt att använda förutbestämda mervärden är i de situationer när RKM valt att inte alls inkludera det som ett krav (eftersom det sannolikt inte fanns ett absolut behov eller ett krav hade kanske påverkat konkurrensen för mycket), men utav en eller flera anledningar vill premiera mervärdet – om det erbjudas. I sådana situationer är det viktigt att tydligt definiera mervärdet så att trafikföretag förstår vad det går ut på samt hur det kopplas ihop till kontraktet och kommer följas upp. Syftet är att om trafikföretaget erbjuder det förutbestämda mervärdet så ska det ingå i uppdraget och såklart kontraktet. 

Nedan anges olika exempel på hur förutbestämda mervärden kan användas. Självfallet bestämmer RKM om sådana ska generera avdrag eller påslag och hur stora sådana mervärden ska vara. 

Exempel störningsinformation

Förslaget nedan bygger på situationen att RKM ställt ett krav på att störningsinformation ska tillhandahållas inom 15 minuter och nedan angivet är mervärden om de kan erbjudas.

Exempel integrerade barnstolar

Förslaget nedan bygger på situationen att det inte finns ett krav på integrerade barnstolar, men däremot ser RKM ett mervärde om det kan erbjudas på vissa angivna linjer eftersom barn ofta reser på dessa.

Exempel lokal marknadsföring

Förslaget nedan bygger på situationen att RKM har en egen enhet som arbetar med marknadsföring – därför finns det inget krav i upphandlingen som anger att trafikföretag ska arbeta med marknadsföring eller tillhandahålla sådana tjänster. Däremot ser RKM ett mervärde om trafikföretaget kan erbjuda stöd till RKM beträffande lokala marknadsföringstjänster som kopplas till kommande uppdrag. RKM vill därför premiera trafikföretag som kommer att stödja RKM i detta arbete. Mervärde ges utifrån vilken nivå som erbjuds, bl.a. om trafikföretag har interna eller externa resurser med kompetens och erfarenhet kan bistå.