Integrasjonsutvikler/Dataingeniør

Vi har behov for bistand med videreutvikling og industrialisering av kildeintegrasjoner og datainnhenting. Bistanden gjelder opptil 2 senior integrasjonsutviklere/dataingeniører. Formålet med oppdraget er å sikre at Kunden styrker sin kapasitet til å skalere kildeintegrasjoner og dataingeniørarbeidet av kildenær data i et sentralt team tilhørende IT. Bemanning av tilstøtende data-team kan være aktuelt.

Kunden samler i dag store mengder informasjon om transportsystemet. Vi står overfor stadig flere forventninger og krav fra myndigheter og samfunnet om å bruke og dele disse dataene. I fremtiden vil datavolumene øke, og det blir etablert systemer som etterspør data f.eks. innen mobilitet, trafikksikkerhet og fremkommelighet. Oppdatert kildenær data vil være en viktig del av dataøkosystemet innenfor en utvidet samferdselssektor og intelligente transportsystemer, og spille en vesentlig rolle for å oppnå bærekraftsmålene. Kundens datastrategi definerer data som en strategisk ressurs og at vi skal ha en virksomhetsarkitektur sentrert rundt dataene kundense.

Kundens dataplattform vil være «motorveien» kundens for innsamling, lagring, behandling, analyse, rapportering og deling av data, både internt og eksternt. På denne er det etablert et rådatalager og tilhørende team Dataintegrasjon med spesialister på kildeintegrasjon som tilrettelegger rådata for videre bruk på plattformen.

Bistanden går ut på å:

• Etablere robuste integrasjoner mot etatens ulike interne kildesystemer og gjøre tilgjengelig store mengder av rådata. Hensikten er å kunne skalere og industrialisere dataintegrasjonsarbeidet.
• Bidra til å utvikle og forvalte standardiserte metoder, rutiner og prosesser for en effektiv, bærekraftig og skalerbar DataOps-praksis.
• Delta i design og implementering av skalerbare og robuste dataarkitekturer.
• Utføre feilsøking og problemløsning ved avvik eller driftsproblemer knyttet til integrasjon av rådata.

Det kan også være aktuelt å:

• Forvalte og overvåke data pipelines for pålitelig og effektiv dataflyt
• Bidra til å øke kompetansen innen integrasjoner og dataingeniør-faget og bygge en kultur for dataingeniør-arbeid i DataOps-teamene.
• Komme med forbedringsforslag og utføre testing av nye teknologier og verktøy.
• Jobbe med verdiøkning av rådata for både analytiske og operasjonelle bruksformål sammen med datadomeneteam som består av eksperter fra etatens fagområder.
• Sikre etterlevelse av personvern-, data governance- og informasjonssikkerhetsretningslinjer.

I den utstrekning Kunden ønsker det skal Konsulenten også delta i andre relaterte aktiviteter.

Vi søker opptil 2 stk. fulltidsressurser med oppstart , hvis ikke annet avtales.

Konsulenten MÅ ha:

• Minimum 3-5 års relevant arbeidserfaring innen dataintegrasjoner eller dataingeniør-praksis.
• Solid programmeringskompetanse med Python og SQL.

Evalueringskrav:

• Omfattende erfaring med å lage robuste dataintegrasjoner fra kildesystemer, og håndtering av problematikk knyttet til for eksempel «schema drift», datakvalitet, sanntidsintegrasjoner og sent ankommende data, historisk backfill og reprosessering.
• Erfaring med å lage gjenbrukbar kode og komponenter for industrialisert dataintegrasjon som gir fart for enkeltutviklere og team.
• Erfaring med data lakehouse-arkitektur, SQL-databaser, Databricks, Snowflake, eller tilsvarende og stordatateknologier som Spark og Delta Lake, Trino eller tilsvarende.
• Solid erfaring med ETL/ELT-prosesser, datamodellering og datatransformasjon med kodebaserte verktøy som f.eks. dbt.
• Erfaring med å utvikle CI/CD-pipelines og annen DataOps/DevOps-praksis.
• Kjennskap til data governance, personvern og informasjonssikkerhetsprinsipper.
• Erfaring med å bygge integrasjoner mot kilder som leverer data i nær-sanntid gjennom datastrømming (Kafka) eller change data capture (CDC). Java-kompetanse er en fordel.

Varighet:
opsjon for 6 + 6 måneder til

Arbeidssted:
Arbeidsstedet vil være kundens lokaler i Oslo eller Drammen.

NB
Kort søknadsfrist: fredag 5. desember kl

Kontakt oss for å motta en kompetansematrise.