Brage, Publisering av master og bachelor oppgaver

Owned by babak.tavassoli
Last updated: Aug 11, 2023
4 min read

Innledning

Brage er en tjeneste for publisering og effektiv tilgjendeliggjøring av institusjonens forsknings- og studentarbeid. Denne integrasjonen sørger for publisering av master- og bachelor-oppgaver som leveres i eksamensystemene Inspera og Wiseflow.

For å kunne publisere oppgavene, trenger integrasjonen en del ekstra meta-data som tittel, sammendrag, veildere, forfattere, språk og om oppgaven skal publiseres og eventuelt om det skal være noe utsatt-publisering. Det er litt ulikt mellom Inspera og Wiseflow hvordan hver enkelt av disse informasjonselementene plukkes opp.

Se også dokumentasjon og flytdiagram her : https://unit.atlassian.net/wiki/spaces/IPM/pages/494985

Teknisk dokumentasjon for sensurprotokoll: https://unit.atlassian.net/wiki/spaces/IPM/pages/96862223

 

Nøkkel info

Initiering av flyt

Innlevering av master/bachelor-oppgaver

  • fast frekvens (en gang i timen)

  • fast frekvens (hvert 10. minutt)

  • poll-timeout: 5 minutter (topics: “submission_delivered” og “submission_delivered_brage“)

Flyt møsnter

Asynkron

Ved levering av oppgaver, sendes det webhook meldinger som trigger jobben

Bruk av meldingskø

Ja, Apache Kafka

  • webhook-meldinger fra begge eksamenssystemene (Inspera/WISEflow) mottas av webhook-app og sendes som kafka melding til denne integrasjonen

Open API

Nei

 

IntArk

Ikke brukt

 

Bakgrunn

Det er behov for publisering av master og bachelor oppgaver. Oppgavene legges inn/lastes opp av studentene i eksamensystemet (Inspera/Wiseflow). De plukkes opp av integrasjonen og publiseres i Brage/NVA.

Interessenter

Dette er en leveranse til Digital-eksamen.
PS! Arkiv, i forbindelse med integrasjonen for arkivering av master/bachelor oppgaver, gjenbruker deler av denne integrasjonen

Brukerhistorie

  • en student leverer en bachelor- eller masteroppgave (for seg selv, eller på vegne av en gruppe) via en av de to eksamenssystemene. Oppgaven plukkes opp, og publiseres når den er klar for publisering.

Systemer/tjenester

  • Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

System

Data

Brukt API (endepunkter)

System

Data

Brukt API (endepunkter)

Config-databasen

setter orgCoverSheet til en gitt orgId

configDB.getSingleOrg

Config-databasen

Henter en list fra databasen (MongoDb.SLACK_BLACKLISTS) for appen

configDB.getSlackBlacklist

FS-Digex

Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på examSystem og taskId)

GET:/eksamen/ferdigstatus/{examSystem}/{taskId}

URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.....
URL for prod: https://fsws.usit.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.......

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

Inspera

Hent resultatkandidatinformasjonen for en gitt bruker på en gitt test. Dette samsvarer nesten nøyaktig med utdata fra kandidatinformasjon i GET /test/ API, kun fokusert på en spesifikk bruker (testId og userId)

GET:/v1/candidates/result/{testId}/{userId}

https://api.inspera.no/apidoc/#/candidates/getCandidateResult

Inspera

Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).

GET: /test/{testId}

https://api.inspera.no/apidoc/#/test/getTestMetadata

LaaS

Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)

do Index

Oai-databasen

Henter en record med identifier query

oai-getRecord

Oai-databasen

Legger til et nytt dokument i databasen

oai-addRecord

Oai-databasen

Oppdaterer et dokument i databasen

oai-updateRecord

Oai-databasen

Legger auditInfoMap log til databasen

oai-addAuditLog

Oai-databasen

Hente dokumenter fra et visst antall dager tilbake (fs-check-days-back)

oai-getPassedExpectedRecords

Oai-databasen

Legger filer (mainDoc og attachments) til i databasen (BrageFil)

oai-upsertBrageFile

Oai-databasen

Henter filer klare for opplasting (ready) til S3 fra databasen

oai-getBrageFiles

Oai-databasen

Henter en rekke 'repo’er for systemet (wiseflow)

oai-getRepositoriesForSystem

Amazon S3

Overfører arkiverte filer (localFileName og fileName) til S3 bucket

upload file:

Slack

Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.getSlackBlacklist).

Slack-kanalen (mule-prod)

WISEflow

Returnerer informasjon om en innlevering (submissionId) levert av en student på en bestemt flowIdsom samsvarer med spørringsparameteren (submissionId, flowId, env og orgShortName).

GET: /flow/{flowId}/submission/{submissionId}

WISEflow

Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på contextObjectId (Flow id), org (orgShortName) og env).

GET: /flow/{flowId}

Tilgangsstyring og logging

  • Integrasjonen loger til Humio med detaljert logging av prosessen.

  • Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

    • action, callTime, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId

  • Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Behandlingstid/responstid og volum

  • Behandlingstid/responstid: ca. 2s

  • Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)

  • Volum (målt: Aug 16, 2022): gj.sn. ca. 23k hits daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde.

  • Hva skjer ved overload i kø?

    • Det skjer ikke da kafka-køene kun har én parallell forbruker (' message listener');

  • Hva skjer med ufullstendige meldinger?

    • De vil feile. Siden køen for automatiske innkommende meldinger har kafka-monitor, vil mulige feiltilfeller bli håndtert (oppdage i loggene) og vi kan ta aksjon basert på det; men hvis meldingen sendes manuelt er ingen automatisk oppfølging satt opp.

  • Inneholder meldingene personopplysninger?

    • Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata (meldingen består av contextObjectId, contextObjectType, ASSESSMENT_RUN, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env og examSystem), men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.

  • Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :

    • Oppgavene ikke arkiveres (miste meldinger)

    • Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)

    • Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige) 

Kommentarer

“Brage skal fases ut og funksjonaliteten blir videreført i det som i dag har prosjektnavnet Cris/NVA. Innholdet som i dag ligger i Brage, vil bli flyttet til NVA (Nasjonalt vitenarkiv) i løpet av 2023.” ( )