Staffan Malmgrens blogg » semantic web

Is this on?

staffan — Thu, 04 Aug 2011 19:12:10 +0000

Almost a year since my last post, so it’s time for a followup. And to mark the occasion, we will be switching the language of this blog to english. The reason for my return to blogging, and also the subject of today’s post, is that I’ve been working with legal information in all it’s aspects a lot lately. And these matters are not necessarily specific to Swedish law.

The subject of todays’ post is an old text I wrote for the nordic yearbook of law and informatics last year. It’s a brief introduction to semantic web concepts, with examples and use cases pertaining to legal information.

I hope some of you will find the attached Legal information systems and the Semantic Web interesting and/or useful.

Mer om semweb-utveckling och nya features på lagen.nu

staffan — Thu, 03 Sep 2009 19:58:25 +0000

Nu har det varit obegripligt tyst här på bloggen ett bra tag, trots
att det hänt massor som är värt att berätta om. Eller så är det just
för att det hänt massor som det varit tyst på bloggen.

I vart fall så har sommaren ägnats åt lagen.nu-projektet, som nu går
in i sin tredje månad. Jag har delat min tid ungefär lika mellan
systemutveckling av själva teknikplattformen och projektledning av de
som skriver. Den senare delen av arbetet är förstås den mest
spännande, men den kan med fördel följas på
lagen.nu-utveckling-listan, som jag tycker du ska gå med på. Eller så
kan du bli ett fan av lagen.nu på facebook!

Men teknikutvecklingen har jag inte skrivit så mycket om varken här
eller där, så nu är det dags. Den ombyggnad som jag beskrev här, som
rör hur data från olika källor pusslas ihop med hjälp av SPARQL, har
driftssatts och funkar hyfsat bra. Jag har en del problem med Sesame,
där vissa saker tar omotiverat mycket tid, särskilt på
linuxplattformen, men det funkar iaf, sort of. Jag har också fått en
del tips på hur man kan undvika de långa kedjor av w dct:isPartOf x . x dct:isPartOf y . y dct:isPartOf z som
jag idag använder. Lösningen går ut på att tala om för Sesame att
dct:isPartOf är en TransitiveProperty och sedan be
Sesame använda inference — på det viset kan Sesame själv förstå att
w dct:isPartOf z. Exakt hur man faktiskt
gör det har jag dock inte läst mig till än.

Den nya versionen finns i betatest på ferenda.lagen.nu, och vana
lagen.nu-besökare kommer se ett antal förändringar redan i den
grafiska designen. Sidorna är uppbyggda med en smal högerkolumn som
oftast visar någon innehållsförteckning eller liknande, samt två lika
breda kolumner som visar själva dokumenttexten, samt metadata kring
dokumentet, exempelvis en kommentar till en paragraf, eller en lista
av rättsfall som hänvisar till paragrafen. Varje kategori av metadata
visas i en box som kan expanderas eller kollapsas. Det finns även en
ny kategori av rättsinformation vid sidan av ”Lagar” och ”Domar”,
nämligen ”Begrepp” (men säg inte till någon jurist att jag betraktar
begrepp som en rättskälla, då blir jag anklagad för att syssla med
begreppsjurisprudens).

Utöver denna nya formgivning finns även ett antal nya funktioner. Jag
tänkte gå igenom två av dem och visa hur den RDF/SPARQL-baserade
plattformen gjort det snabbare att lägga till dem. Att lägga till ny
funktionalitet på lagen.nu innebär att på ett eller annat sätt utvinna
data (dokument) och metadata (egenskaper hos dokument) om/från
rättskällor, för att sedan presentera och framförallt korskoppla denna
data/metadata.

”Lagrum som hänvisar hit”: Bredvid varje paragraf så finns det en box
(med rubriken ”Lagrumshänvisningar hit”) som innehåller en lista över
olika ställen i denna eller andra lagar som hänvisar till den aktuella
paragrafen. Minnesgoda bloggläsare känner igen detta från det
paper jag och Christine Kirchberger skrev förra
vintern. Det är också implementerat på ungefär samma sätt, med en
SPARQL-fråga vars svar vävs ihop med lagtexten genom XSLT. Den största
skillnaden är att jag vid sidgenereringen ställer ett antal olika
SPARQL-frågor (en för varje boxtyp, ungefär), väver ihop svaren till
en RDF/XML-fil, som sedan används från XSLT. Det finns lite kvar att
göra på den här funktionen, framförallt kryptiska beteckningar i stil
med ”SFS 2000:1225, P1S4″ bytas ut mot kryptiska beteckningar i stil
med ”1 § 4 st lagen (2000:1225) om straff för smuggling”.

Den här funktionen kunde alltså realiseras med hjälp av metadata som
redan fanns, och det system för att väva ihop data och medatada som
också redan fanns. Den enda nyutvecklingen var en ny SPARQL-fråga och
en ny funktion i XSLT-stylesheetet.

”Legaldefinitioner”: I lagtext finns det ofta olika typer av
begreppsdefinitioner. Dessa definitioner förekommer vanligtvis i
samband med någon form av fasta uttrycksformer:

Tabellform, exv PUL 3 §:

I denna lag används följande beteckningar med nedan angiven
betydelse.

Beteckning Betydelse

Personuppgifter All slags information som direkt eller
indirekt kan hänföras till en fysisk person som är i livet.

Listform, exv LEK 1:7:

I lagen avses med

abonnent: den som har ingått avtal med en leverantör av allmänt tillgängliga elektroniska kommunikationstjänster om tillhandahållande av sådana tjänster,

Löpande form, exv PAL 2
§:

Med produkter avses i denna lag lösa saker. En produkt som har infogats eller på annat sätt blivit en beståndsdel i någon annan lös egendom eller i fast egendom skall alltjämt anses i lagens mening utgöra en produkt för sig.

Parantesform, exv JB 4:19 a

Köparen får inte åberopa att fastigheten är felaktig enligt 11, 12 och 17–19 §§, om han inte lämnar säljaren meddelande om felet inom skälig tid efter det att han märkt eller borde ha märkt felet (reklamation).

Brottsrubriceringsform, exv BrB 17:4

Den som, utan att fall är för handen som förut i detta kapitel är
sagt, genom att sätta sig till motvärn eller eljest med våld söker
hindra någon i hans myndighetsutövning, dömes för våldsamt
motstånd till böter eller fängelse i högst sex månader.

En definition av ett begrepp som finns i lagtext kallas vanligen
legaldefinition och har förstås en särskild tyngd jämfört med de
definitioner som vi vanliga dödliga kan åstadkomma. Därför är det
intressant att försöka känna igen legaldefinitionsmässigt. Hur man gör rent
textprocessingsmässigt för att göra det tänker jag inte gå in på här,
men den korta versionen är att det inbegriper ett stort antal, allt
hårigare, regexpar. Den långa versionen finns i den allt mer feldöpta
funktionen _construct_ids. Det är i vart fall inte särskilt svårt, utan jobbet ligger mest i att hitta de olika uttrycksformerna och skriva testfall. Poängen
är att efter vi kört våra regexpar så har vi ytterligare drygt tusen
RDF-triples på formen:

dct:subject "Våldsamt motstånd"@sv

Under den nya fliken ”Begrepp” har vi samlat begrepp från
3½ olika håll – de begrepp vi själva beskrivit i
lagkommenteringsprojektet, de begrepp som används som sökord i
rättsfall och de legaldefinitioner som vi utvunnit enligt ovan (samt
information om huruvida svenska Wikipedia har en sida om
begreppet).

För att skapa en sådan sida — exempelvis för begreppet ”Konsument” –
hämtar vi all data från Sesame. Tre SPARQL-frågor, samma process för att slå ihop svaren
till en RDF/XML-fil, (nästan) samma process för att väva ihop ett
källdokument (som i detta fallet bara innehåller själva begreppet som
titel) med RDF-datan. Ny funktionalitet med ganska liten arbetsinsats.

(Även innehållsförteckningarna under flikarna ”Lagar”, ”Domar” och
”Begrepp” genereras nu på samma sätt — in med en stor RDF-graf, några
konfigurationsparametrar och ut kommer ett antal hundra sidor som
sammanlagt bildar ett index över all information av en viss typ som
finns i systemet).

En arkitektur för webutveckling med semantic web-koncept

staffan — Mon, 29 Jun 2009 22:47:46 +0000

Idag checkade jag in en ganska stor ändring i
kodbasen för lagen.nu. Det är lite vanskligt att göra stora ändringar
nu såhär en vecka innan lagkommenteringsprojektet drar igång
på allvar, men just den här ändringen bör kunna göra det enklare att
pussla ihop ny funktionalitet jämfört med hur det ser ut idag.

Vad ändringen handlar om är att använda RDF på en djupare nivå än
vad som gjorts hittils, och med verktyg som är bättre lämpade. Det jag
har nu börjar kännas nära en arkitektur för att bygga
webbtillämpningar på semantic web-koncept istället för den traditionella kombon RDBMS + SQL + dynamiskt språk
(eller den något mindre traditionella dynamiskt språk + MVC-ramverk + O/R-mappning).

För att man ska förstå poängen börjar jag med att beskriva hur det har
sett ut tidigare.

Innehållet på lagen.nu skapas i huvudsak i fyra
steg: Download, Parse, Relate och Generate. De två första stegen handlar
om att hämta innehåll (lagtexter och rättsfall) från andra ställen,
respektive att semantiskt strukturera upp detta (från de text- och
wordfiler som laddats ner). Dessa berörs inte alls av ändringen.

Relate-steget är ganska enkelt: Det går igenom de strukturerade
XHTML2/RDFa-filer som
skapats och plockar ut alla RDF-triples. Dvs från filer som innehåller
både data (lagtext, domslutstext) och metadata (SFS-nummer, titlar,
lagrumshänvisningar…) så plockas metadatat fram. Detta lagras sedan
separat på lämpligt sätt.

Generate-steget tar sedan en strukturerad XHTML2-fil, exempelvis en
lagtext och transformerar den till XHTML 1.0, färdigt att visas i en
webbläsare. Denna transformering lägger till en massa information,
exempelvis sidhuvud och sidfot, innehållsförteckning, och listor av
relevanta rättsfall under varje paragraf.

För att göra det sista måste transformeringssteget på något vis ha
tillgång till en lista över de relevanta rättsfallen. Tidigare har
detta skett genom att Relate-steget konstruerat en (1) gigantisk
RDF/XML-fil med information om samtliga 10 000+ rättsfall som finns i
systemet, och XSLT-transformationen sedan laddat in denna med ett document()-anrop. Det
funkar, men är både långsamt och oflexibelt.

Att skapa kopplingar mellan dokument genom systemets samlade metadata
skulle kunna användas på rätt många olika sätt, men idag görs det bara
på två sätt — dels för listorna på relevanta rättsfall under
lagtextparagraferna, dels för att se till att bara de rättsfall som
faktiskt finns i systemet är länkade i den lista över föregående
rättsfall som finns bredvid varje rättsfall. Det beror dels på att
det är bökigt att implementera nya kopplingar, dels på att det just nu
inte finns så mycket mer information i systemet än just lagtext och
(svenska) rättsfall.

Men med lagkommenteringsprojektet börjar det senare
ändras. Kommentaren för varje enskild paragraf lagras som ett
RDF-påstående, på formen:

 dct:description
"Huvudregeln för känsliga uppgifter är ..."

Och även andra informationskällor ska in. Jag har fyra moduler i
varierande stadier av halvfärdighet (för propositioner och
utredningsbetänkanden, Allmäna
reklamationsnämnens praxis, JO-beslut och EG-domstolens
domslut) och en på planeringensstadiet (EG-lagstiftning).

Med flera informationskällor växer möjligheten för användbara
kopplingar exponentiellt. Under varje paragraf skulle man kunna lista
namnen på den proposition som föranlett lagändringar i denna, eller
namn på EG-direktiv som föranlett propositionerna. För varje sökord
som rättsfall använder kan man skapa en sida som listar andra
rättsfall med samma sökord. Och sen plocka in information från rikstermbanken, svenska Wikipedia och förstås vår egen wiki.

Om man kan skapa en koppling mellan EG-direktiv och svensk lag (på
paragraf/artikelnivå) skulle man tillochmed skapa en koppling mellan
svenska lagparagrafer och förhandsavgöranden från EG-domstolen för
andra länder. Om ni bara kunde se in i huvudet på mig skulle ni
förstå hur vackert allt kommer att bli.

Men systemet med att spara ner allt i gigantiska XML-blobbar och gräva
igenom dessa med XSLT-funktionen document() skalar inte.

Så, vad dagens ändring gör är att byta ut metadatalagringen – från
stora statiska filer till en RDF-databas. Jag vet att det strider
mot mina tidigare principer, men med strax över en miljon poster
(triples) har jag insett
att det faktiskt behövs.

Enligt den nya ordningen så stoppar Relate-steget in all metadata i
Sesame-databasen istället för att stoppa in det i en gigantisk fil. I
Generate-steget körs sedan ett antal SPARQL-frågor mot denna databas,
och sparar ner steget i en temporär XML-fil, som bara innehåller den
information som är relevant för just det dokument som ska skapas. Den
läses sen in med document() precis som tidigare. Skillnaden är att
denna temporärfil är liten och därmed snabbprocessad, samt att
utvecklingen för att stoppa ner nya datamängder i den är liten – dels
en SPARQL-fråga, dels lite klisterkod för att mappa svaret till en
XML-ig trädstruktur. Vad det gäller det senare hoppas jag kunna
använda SPARQLTree
för att kunna generalisera det helt.

Vad det gäller det förra så är det dock inte hel-enkelt att skriva bra
SPARQL-frågor. Den enda hjälpen som är något att ha är själva specen,
och den innehåller liksom inte så mycket tips av ”for
dummies”-karaktär. Det leder till att mina frågor är ganska yxiga än
så länge. Förhoppningsvis inser jag hur de kan förenklas allt eftersom
jag lär mig krypa på det här området.

Som ett exempel på svårigheterna kan nämnas hur man ska formulera en
fråga som hämtar information alla rättsfall som hänvisar till en viss
lag. Informationen om ett visst rättsfall lagras enligt följande mall
(N3-notation):

@prefix dct:  .
@prefix rinfo:  .

 a rinfo:Rattsfallsreferat ;
     dct:creator  ;
     dct:description "En kvinna med en insulinberoende diabetes, åtalad för misshandel[...]"@sv ;
     dct:identifier "RH 2003:65"@sv ;
     dct:relation ""@sv ;
     dct:subject "Uppsåt"@sv ;
     rinfo:avgorandedatum "2003-11-21"@sv ;
     rinfo:lagrum  
     rinfo:malnummer "B24-03"@sv .

Det intressanta här är rinfo:lagrum-triplen (i fetstil). Det är fråga
om ett rättsfall som hänvisar till brottsbalken, närmare bestämt 1
kap. 2 § 2 st. Brottsbalken har i det här systemet URI:n
.

En inititial SPARQL-fråga för att hämta information om alla rättsfall som hänvisar
till brottsbalken kan se ut såhär:

PREFIX dct:
PREFIX rinfo:

SELECT ?uri ?id ?desc
WHERE {
    ?uri rinfo:lagrum  .
    ?uri dct:identifier ?id .
    ?uri dct:description ?desc
}

(Not: om du inte redan kan grundläggande SPARQL rekommenderar jag att
exempelvis läsa wikipediasidans
introduktion).

Problemet är att den frågan enbart kommer att hitta rättsfall som
hänvisar till brottsbalken i sin helhet, inte rättsfall som hänvisar
till någon enskild paragraf. Detta eftersom URI:er i RDF är
ogenomskinliga — det finns inget inherent samband mellan
och
(som
är URI:n för 1 kap. 2 § 2 st. Brottsbalken).

Det vi vill göra är att ställa en fråga som matchar alla rättsfall som
hänvisar till en viss lag eller något som är en del av samma lag
(enskilda kapitel, paragrafer eller stycken). Ett enkelt, fult,
långsamt och fel sätt är att göra det med ett filter:

PREFIX dct:
PREFIX rinfo:

SELECT ?uri ?id ?desc ?lagrum
WHERE {
    ?uri dct:identifier ?id .
    ?uri dct:description ?desc .
    ?uri rinfo:lagrum ?lagrum .
    FILTER regex(str(?lagrum), "http://rinfo.lagrummet.se/publ/sfs/1962:700")
}

Ganska enkelt, men i praktiken väldigt långsamt, gissningsvis för att
SPARQL-motorn är tvungen att konvertera varenda URI (en datatyp) till
en sträng (en helt annan datatyp), för att sen se om den möjligtvis
börjar på ett visst sätt. Det är också fel, eftersom frågan gör ett
antagande om att

är en resurs som är en del av resursen
, utan
någon täckning för det antagandet.

Det korrekta sättet är att modellera just detta
”är-del-av”-förhållande. I RDF-databasen finns en mängd triples av
följande typ:

 a rinfo:Stycke;
     dct:isPartOf .

 a rinfo:Paragraf;
     dct:isPartOf .

 a rinfo:Kapitel;
     dct:isPartOf .

Med det kan vi formulera en fråga som ger oss information om alla
rättsfall för en viss lagtext. Vi vill ha alla rättsfall som antingen
har en rinfo:lagrum-relation med lagtextens URI
eller en rinfo:lagrum-relation med en URI som har
en dct:isPartOf-relation med lagtextens URI eller
en rinfo:lagrum-relation med en URI som har en
dct:isPartOf-relation med en URI som har en
dct:isPartOf-relation med lagtextens URI
eller…

Ok, det blir inte så vackert det här heller, men det blir rätt och
snabbt. Den SPARQL-fråga jag har just nu blir såhär:

PREFIX dct:
PREFIX rinfo:

SELECT ?uri ?id ?desc ?lagrum
WHERE {
   { ?uri rinfo:lagrum  .
     ?uri dct:identifier ?id .
     ?uri dct:description ?desc }
   UNION { ?uri rinfo:lagrum ?lagrum .
           ?lagrum dct:isPartOf  .
           ?uri dct:identifier ?id .
           ?uri dct:description ?desc }
   UNION { ?uri rinfo:lagrum ?lagrum .
           ?lagrum dct:isPartOf ?b .
           ?b dct:isPartOf  .
           ?uri dct:identifier ?id .
           ?uri dct:description ?desc }
   UNION { ?uri rinfo:lagrum ?lagrum .
           ?lagrum dct:isPartOf ?b .
           ?b dct:isPartOf ?c .
           ?c dct:isPartOf  .
           ?uri dct:identifier ?id .
           ?uri dct:description ?desc }
   UNION { ?uri rinfo:lagrum ?lagrum .
           ?lagrum dct:isPartOf ?b .
           ?b dct:isPartOf ?c .
           ?c dct:isPartOf ?d .
           ?d dct:isPartOf  .
           ?uri dct:identifier ?id .
           ?uri dct:description ?desc }
   UNION { ?uri rinfo:lagrum ?lagrum .
           ?lagrum dct:isPartOf ?b .
           ?b dct:isPartOf ?c .
           ?c dct:isPartOf ?d .
           ?d dct:isPartOf ?e .
           ?e dct:isPartOf  .
           ?uri dct:identifier ?id .
           ?uri dct:description ?desc }
}

Förslag på hur man kan förenkla det hela mottages tacksamt…

Det framgår kanske att det här inte är en arkitektur för alla
problem. Men om man har data som kan modelleras med RDF (och när man
jobbat med RDF ett tag så tycker man att i stort sett allt gör det) så
tror jag att åtminstone kombinationen triplestore + SPARQL kan vara
ett intressant alternativ till RDBMS + SQL.

Diverse skriverier

staffan — Tue, 31 Mar 2009 22:28:04 +0000

Lite tyst här på sistone — jag jobbar mer eller mindre frenetiskt på
andra saker just nu, bland annat på den
allra sista kursen jag ska gå på juristprogrammet. Känns lite
märkligt.

Men jag har skrivit saker på annat håll. Först upp, två krönikor i
TechWorld, en om problemen med
teknikneutral lagstiftning (där jag i stort utgår från vad Rasmus
Fleisher sa för två år sedan), och en annan om lagstiftaren
som systemarkitekt (som i princip bygger på ett tema Nicklas
Lundblad presenterade för tre år sedan). Medelmåttor lånar, genier
stjäl. Detta är mina sista krönikor för Techworld, vilket är synd, för
jag gillade verkligen att ha deadlines, läsarkrets och inkomst. Om du
vill att jag ska skriva åt just dig och kan erbjuda dessa tre
faktorer, hör av dig.

Jag har tidigare
nämnt att jag höll på med en text om lagen.nu till Lov &
Data – nu är tidningen ute, och här
kan du läsa artikeln. Om du inte redan prenumererar på Lov & Data
rekommenderas ett medlemsskap i ADBJ, då en prenumeration ingår, samt
tillträde till en massa intressanta
seminarier i Stockholmsområdet.

För lite
längre sedan skrev jag och Christine Kirchberger
ett paper till en workshop vid Jurix 2008. Det kanske
kommer publiceras officiellt i någon form någon gång, men tills dess
finns vårt paper ”Inbound links – picking the low hanging fruit from
the semantic web” tillgängligt här. Bör vara intressant för både
teoretiskt lagda jurister och semantic web-intressenter.

Avslutningsvis har jag även blivit skriven om: Juridicums
nyhetsbrev gjorde en liten intervju angående lagen.nu. Superkul!

Antagen till JURIX-workshop!

staffan — Fri, 05 Dec 2008 16:39:03 +0000

För några veckor sedan, mitt under brinnande konferensförberedelser, skrev jag och Christine Kirchberger ett paper om rättsinformation och semantic web, kallat ”Inbound links – picking the low hanging fruit from the semantic web”. Pappret handlar om begreppet hänvisningar i juridik och hypertext, och beskriver ett exempel på en tillämpning – hur man under varje paragraf i en lagtext listar andra paragrafer som hänvisar dit – som man kan realisera med extremt enkla medel (ett minimalt XSLT-stylesheet som använder sig av en superenkel SPARQL-fråga).

Nu har det blivit antaget till en workshop vid den anrika JURIX-konferensen, som detta år äger rum i Florens, och vi har blivit inbjudna dit för att på femton minuter redogöra för våra resultat (programmet finns här, vi talar under punkten ”Workshop on Legislative XML”). Efter att ha sysslat med rättsinformation i några år på hobbybasis är det otroligt kul att dels få samarbeta med en doktorand på området, dels få presentera vårt resultat i ett internationellt sammanhang. Nu ska jag bara tygla min nervositet (och motivera varför vi inte använt oss av Metalex som format).

Det hela äger rum nästa vecka, och förmodligen läggs även vårt paper ut någonstans på Jurix-webbplatsen då — återkommer med länk!

Uppdatering: Nu finns även workshopprogramet tillgängligt som PDF.

Dagens uppLYSning om RDF

staffan — Tue, 30 Sep 2008 11:41:41 +0000

Ikväll klockan 18:15 håller jag en upplysning om informationsmodellering, RDF och annan semantic web-teknologi, mot bakgrund av hur jag använt dem i lagen.nu. Här är de slides jag tänkt använda, återigen i S5-format. Eftersom jag använder object-taggen för att länka in live-webbsidor funkar det kanske inte i alla webbläsare, men det verkar funka i min Firefox iallafall. Är du i Linköping ikväll, kom gärna förbi!

Beteckning	Betydelse
*Personuppgifter*	All slags information som direkt eller indirekt kan hänföras till en fysisk person som är i livet.