KHELSE function

• gruppe :
• batchdate : fra SettKHBatchDate()
• globs : from FinnGlobs()
• diagnose = 0
• printR = TRUE
• printCSV = FALSE
• printSTATA = FALSE
• versjonert = FALSE
• dumps = list()

Beskrivelse av prosessene:

• FinnfilgruppeParametre() lager FGP object
• FinnFilBeskGruppe() lager filbesk object
• Loop alle rader i filbesk og lager følgende:
  • filn som er absolutt path til filen
  • AAR hvis det ikke er spesifisert eller skrevet som <$y> skal value hentes fra DEFAAR i ORIGINALFILER tabell

• gruppe : Filgruppenavn
• batch : fra SettKHBatchDate(). Denne lager dagens dato til format «%Y-%m-%d-%H-%M»
• globs : fra FinnGlobs() function.

En tabell av type list hentet fra tabell FILGRUPPER. I tillegg legges det 3 til dvs. vals, amin og amax. De to siste er for alder minimum og maksium hentet fra kolonne ALDER_ALLE. List vals i tillegg inneholder 3 tillegg lister $vals$verdi_i_VAL1navn, $vals$verdi_i_VAL1navn$miss og $vals$verdi_i_VAL1navn$miss. Det samme for VAL2 og VAL3. F.eks for filgruppe ARBEIDSLEDIGE så blir det:

  $vals
  $vals$ARBEIDSLEDIGE
  $vals$ARBEIDSLEDIGE$miss
  [1] "0"

  $vals$ARBEIDSLEDIGE$sumbar
  [1] "1"

• Sjekk aktiv filgruppenavn basert på tidsperiode dvs. VERSJONFRA og VERSJONTIL i Access tabell, men denne informasjon er ikke brukes eller oppdateres. Object FGPaktiv.
• Sjekk hvis det er duplikater filgruppenavn. Denne er unødvendig hvis kolonne FILGRUPPE er nøkkel eller unik i Access tabell.
• Object amax for maksimal aldre hentes fra Access tabel HOVEDPARAMETREg, men der er det bare en linje som lager default for maks alder. Kan dette gjøres annen sted eller er dette egentlig en ubrukt tabell?

• gruppe : filgruppenavn
• batchdate = NULL
• globs : fra FinnGlobs()

SQL spesifikasjonen som brukes:

     sqlt<-paste("SELECT KOBLID, ORIGINALFILER.FILID AS FILID, FILNAVN, FORMAT, DEFAAR, INNLESING.*
                 FROM INNLESING INNER JOIN
                 (  ORGINNLESkobl INNER JOIN ORIGINALFILER
                 ON ORGINNLESkobl.FILID = ORIGINALFILER.FILID)
                 ON   (INNLESING.DELID = ORGINNLESkobl.DELID)
                 AND (INNLESING.FILGRUPPE = ORGINNLESkobl.FILGRUPPE)
                 WHERE INNLESING.FILGRUPPE='",filgruppe,"'
                 AND ORIGINALFILER.IBRUKFRA<=",datef,"
                 AND ORIGINALFILER.IBRUKTIL>", datef,"
                 AND INNLESING.VERSJONFRA<=",datef,"
                 AND INNLESING.VERSJONTIL>",datef,sep="")

Disse variabler er laget av denne funksjonen:

  > names(fb)
   [1] "KOBLID"      "FILID"       "FILNAVN"     "FORMAT"      "DEFAAR"
   [6] "ID"          "FILGRUPPE"   "DELID"       "BRUK"        "VERSJONFRA"
  [11] "VERSJONTIL"  "FORMATgml"   "INNLESARG"   "MANHEADER"   "MULTIHEAD"
  [16] "KASTKOLS"    "UNDERTABLOK" "FYLLTAB"     "RESHAPEid"   "RESHAPEmeas"
  [21] "RESHAPEvar"  "RESHAPEval"  "AGGERGER_DF" "RSYNT1"      "RSYNT2"
  [26] "FEILRAPPORT" "GEO"         "GEOd2"       "GRUNNKRETS"  "TKNR"
  [31] "SONER"       "AAR"         "KJONN"       "ALDER"       "UTDANN"
  [36] "SIVST"       "LANDBAK"     "TAB1"        "TAB2"        "TAB3"
  [41] "VAL1"        "VAL2"        "VAL3"        "ALDERkb"     "KJONNkb"
  [46] "TAB1kb"      "TAB2kb"      "TAB3kb"      "KOMMENTAR"   "RAPPORT2"
  [51] "TID"         "PROSESSDATO" "SKALA_VAL1"  "SKALA_VAL2"  "SKALA_VAL3"

• filbesk : Object fra FinnFilBeskGruppe() function
• FGP : Object fra FinnFilgruppeParametre() function
• diagnose = diagnose
• globs = globs
• versjonert = versjonert
• dumps = dumps

• [ ] Hva skal kolonne FYLLTAB brukkes til?
• [ ] Hvor finner man kolonner RESHAPEpre og RESHAPEpost?
• [ ] Hva er GEOd2?

• filbesk
• batchdate = batcdate
• globs = globs
• dumps = dumps

• koblid : verdi fra object filbesk$KOBLID
• globs : fra function FinnGlobs()

En vector av den filgruppenavn til den spesifisert KOBLID eg. UFORE.

• koblid :
• felt :
• verdi :
• batchdate : from SettKHBatchDate() function
• globs : fra FinnGlobs()

Query som brukes bl.a

  sqlQuery(globs$log,paste("DELETE * FROM INNLES_LOGG WHERE KOBLID=",koblid,"AND SV='S'",sep=""))

  upd<-paste("INSERT INTO INNLES_LOGG ( KOBLID, BATCH, SV, FILGRUPPE ) SELECT=",koblid,",'",batchdate,"', 'S',",FinnFilGruppeFraKoblid(koblid),sep="")
      sqlQuery(globs$log,upd)

  upd<-paste("UPDATE INNLES_LOGG SET ",felt,"=",verdi," WHERE KOBLID=",koblid," AND SV='S' AND BATCH='",batchdate,"'",sep="")

Legger til ny rad i INNLES_LOGG tabell via INSERT eller oppdatere tabellen via UPDATE.

• filn : Absolutt sti til filen
• header = FALSE
• skip = 0
• calClasses = «character»
• sep = «;»
• quote = «\»« obs! denne bør være ‘\»’
• dec = «.»
• fill = FALSE
• encoding = «unknown»
• blank.lines.skip = FALSE
• na.strings = c(«NA»)
• brukfread = TRUE
• …

En csv fil med header=FALSE dvs. header i tabellen blir til en ny kolonne. Hvorfor??

Koden for å lese csv med fread som produserer data.frame kan skrives slik:

  fread(DT, data.table = FALSE)

• DF : data.frame i CSV format fra KHCsvread eller XLS
• filbesk :
• header = TRUE
• skip = 0 Hvilke rader som skal uttelates ved lesing
• slettRader = integer(0) obs! her bør det være 0L. Denne skal velger rader som skal slettes.
• sisteRad = 1 Velges hvilken som er siste rader
• TomRadSlutt = FALSE Velge hvilken rader som er tommer og subsett data.frame fra rad 1 til raden som den tomme raden.
• FjernTommeRader = FALSE Slett tomme rader i hele data.frame
• FjernTommeKol = TRUE Slett tomme kolonne
• globs = FinnGlobs()
• …

Flere argumenter som egentlig gjør nesten det samme oppgavene. Alternativ å finne tomme rader eller kolonne kan brukes apply og er nok raskere.

    rnames <- rownames(DF[apply(is.na(DF) | DF == "", 1, all), ]) #for rader
    knames <- rownames(DF[apply(is.na(DF) | DF == "", 2, all), ]) #for kolonner

    which(rownames(DF) %in% tnames)

• Finne ut i INNLESSING tabell hvor mange som har FjernTommeRader og FjernTommeKol. Sjekk

hvordan filen ser ut og tilpasse deretter før ny database lages.

Alle år og aldre er ALLTID intervaller i hele systemet. Dermed brukes alltid AARl/AARh og ALDERl/ALDERh. Dette gjelder selv om det bare dreire seg om enkelte kalenderår (AARl=2020, AARh=2020) eller enkle aldersår (ALDERl=30,ALDERh=30).

val.a og val.f er to flagg som alltid går hånd i hånd med hver verdikolonne. Detaljene kan våre ganske kompliserte, men i hovedtrekk:

val.a teller opp hvor mange originaltall som har vårt brukt til å lage verdien. Eksempler: Når to kommuner slås sammen for kommuneharmonisering blir det typisk val.a=2. Når tall for 5 enkeltaldre slås sammen til en 5 års aldersgruppe blir det val.a=5. De to tilfellen i kombinasjon gir val.a=10

val.f er strengt tatt viktigere. Den angir i hovedtrekk hvorfor tall er NA. Er det fordi tallet mangler originalt, er det fordi det ikke lar seg bergene, er det fordi det anonymisres osv.

Men begge val.a og val.f får statis ferdi henholdsvis 0 og 1. Se koden.

  valok<-1
  valf<-paste(val,".f",sep="")
  vala<-paste(val,".a",sep="")
  valomk<-paste(val,"omk",sep="")

  ##Lag omkodet verdi med numerisk. Ikke numerisk blir foreløpig NA
  suppressWarnings(DF[,valomk]<-as.numeric(valKB$omk))
  DF[,valf]<-0
  DF[,vala]<-1
  DF[valKB$omk==".." & DF[,val]!=valKB$omk,valf]<-1
  DF[valKB$omk=="." & DF[,val]!=valKB$omk,valf]<-2
  DF[valKB$omk==":" & DF[,val]!=valKB$omk,valf]<-3

TYP=0 er de Ordinåre geokodene, TYP=U er geokoder som angir «Uoppgitt» (slik som at 1199 er uopgitt kommune under fylket 11). Dette filteret brukes når det produseres kuber og Firksvik-data, da blir det ikke rapportert tall for U-koder, men disse må våre med fram til da fordi de inngår i summer som lager totaler for høyere geografisk nivå (1199 tall inngår i 11 osv).

Noen ganger skreves det som NA eller 25_. Når det er NA så plukket verdier fra default ie. min og maks alder. Når det er bare 25_ så legges maks alder fra tabell ..

• Hva kolonne FILTER1, FILTER2 og FILTER3 brukes til? Verdien er 1.
• Kolonne ALDER_ALLE har forskjellige verdier bl.a 0_120, 1_6, 25_ og ingen verdi? Når ingen verdi blir det satt 0_120 som min og maks alder. Når det skreves bare 25_ skal det får 25 som min alder og 120 som maks alder.