Staffan Malmgrens blogg

UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0×84 in position 1: ordinal not in range(128)

Om du programmerat python känner du säkert igen ovanstående felmeddelande. Roten av problemet är att python har två strängtyper; den ursprungliga str som innehåller en singlebytesträng utan någon vidare information om vilken teckenkodning som använts, och unicode, som är en fullständig unicodesträngtyp.

Det faktum att båda dessa typer finns, fungerar och ser nästan likadana ut gör att en pythonprogrammerare måste vara på tårna hela tiden för att vara säker på vad för sorts data han bollar med — något som tar bort mycket av fördelarna med dynamismen i språket. Annars blir det lätt så att kod som verkar fungerande helt plötsligt krashar om någon stoppar in ett åttabitarstecken nånstans där ingen hade tänkt på att kunde göra det. Och om man inte är disciplinerad är det lätt att man snärjer in sig i en röra av unicode(…) och foo.encode(’iso-8859-1′). [1]

För lagen.nu 2.0-koden försöker jag använda unicode rakt igenom, så mycket som möjligt, och behandla str som om det vore en bytearray. Det går …sådär. ElementTree ger alltid ifrån sig unicode och man mår bäst om man bara stoppar in unicode i den (även om det går att stoppa in str, men det är inte att rekommendera att använda något med höga bitten satt). BeautifulSoup är unicode-only från och med version 3, vilket är ett stort steg framåt.

Django är dock ett sorgebarn i sammanhanget. Gränssnitten både utåt, mot webbläsaren och innåt, mot databasen, är str, dessutom utf-8-kodat (om man inte ändrat DEFAULT_CHARSET, vilket dock inte är en egentlig lösning), något som är det sämsta av bägge världar. Jag menar, len av en sträng som innehåller ‘räksmörgås’ ska vara 10, aldrig 13, men kolla vad len(u’räksmörgås’.encode(’utf-8′)) är.

Vad värre är, det går inte att stoppa in unicode överallt heller. De modeller man skapar behöver få sina strängvärden som utf-8-kodade str, annars får man ‘Warning: Data truncated for column ’subject’ at row 1′ och frågetecken i databasen. Åtminstone mot min MySQL-databas, som internt lagrar i utf-8 (tror jag). Är det likadant vad gäller Postgres och SQLite? Vem vet?

Det går väl att lära sig leva med. Sätt upp en barriär mellan django-land och min egen kod, och se till att all str-data kodas om till unicode, och vice versa. Det kanske ordnas innan 1.0, men det är mycket att göra.

Django är dessvärre inte ensam i detta — igår tillbringade jag alldeles för lång tid på att försöka använda email-modulen med unicodesträngar, men den modulen är inte unicodesäker. Simpleparse klarar inte heller unicodeindata. Det finns säkert fler exempel.

Just unicodehantering[2] är ett av de få områdena där jag saknar COM/CLR/Java-världen. Jag menar, multibytetecken funkade smärtfritt i VB6 för typ en miljon år sedan.

På temat unicode saknade jag igår några bra teststrängar för att testa unicodedata med lite exotiskare tecken (allt över U+0255, typ) — utländska motsvarigheter till Räksmörgås, typ. Jag hittade inget direkt, men klistrade ihop något baserat på wikipedias förstasida:

Unicode/UTF-8-test

Som en added bonus innehåller den en hel del BiDi-tester med vad jag tror är korrekt rendering. Jag hade ingen aning om att det var ett så komplicerat ämne, men nu har jag lärt mig en ny HTML-tag. Det är inte varje dag!

[1] Så ser lagen.nu 1.0-koden ut. Ibland blir jag påmind om en kompis som förklarade hur han programmerar C: “klagar kompilatorn så sätter jag dit en ‘*’, om inte det hjälper byter jag ut den mot ett ‘&’”

[2] Och till en mindre del debugging, även om det har ändrats sedan jag upptäckte Wing IDE

Det där med teddybjörnsdebuggning funkade ganska bra. Jag fortsätter med nästa designfråga. Eftersom det här i första hand är anteckningar för mig själv är jag inte alltid övertydlig med förklaringar, men fråga gärna om du undrar något!

Frågan att lösa är hanteringen av rättskälledokument som vi inte har tillgång till (placeholders). Ett typiskt exempel är NJA 1977 s. 756 (det s.k. lingonpulpfallet, som utvecklar principer om bevisbördans placering för leveransköp där köparen står risken under transport). Detta finns inte hos domstolsverket, men det vore bra att ha med i databasen, åtminstone ett metadataskelett bestående av titel och NJA-nummer (och kanske referade rättsfall/lagrum etc), så att andra rättsfall, diskussioner, litteraturhänvisningar etc kan länka till det.

För rättsfall (om vi börjar med det) som vi har tillgång till ser arbetsgången ut såhär:

• Rättsfallet laddas ned (Download)
• XML utvinns ur HTML-koden (Parse)
• Rättsfallet indexeras i databasen (Index), detta steg innebär att en rad i LegalDocument-tabellen skapas med URN[1], displayid, xmlpath och htmlpath
• HTML genereras från XML och ett rättskällespecifikt XSLT-stylesheet (Generate)

När allt detta är på plats kan vi visa rättsfallet. All central metadata (målnummer/referatnummer, rubrik, lagrum etc) ligger i XML-filen.

Jag ser två skilda tillvägagångssätt: Antingen låter vi våra placeholders efterlikna de vanliga rättskälledokumenten så mycket som möjligt, med målet att senare delar i kedjan (de som katalogiserar, visar och gör dokument kommenterbara) inte ska behöva veta om det är en placeholder eller inte.

Eller så låter vi placeholders vara väsensskilda from vanliga rättskälledokument, just för att göra det tydligt att det här inte är originalinformation (vad är exempelvis skillnaden mellan inbyggd och tillförd metadata för en placeholder?)

Förslag (som mest går på den första vägen): LegalDocument-tabellen utökas med en isPlaceholder-boolean, eller kanske en source-URL (skulle då vara http://www.rattsinfosok.dom.se/-nånting för originaldokument och http://lagen.nu/nånting för placeholders).

Wikin utökas med en möjlighet att mata in skelettet till ett rättskälledokument (i första steget XML-rakt-upp-och-ned, i andra steget med hjälpsam formulärfrontend). Vi skulle kunna använda Mediawiki-style-namespaces: default namespace för vanliga artiklar, ett annat för kommentarer/annoteringar (”Annotering:1960:729″, ett tredje för placeholders (”Källdokument:NJA_1977_s._756″) osv. För just placeholder-namespacet gör wikins save-funktion motsvarande Index och Generate (se ovan).

Den stora fördelen är att wikiinfrastrukturen för användarhantering och historyhantering kan återanvändas (och jag gillar idén med att wikienabla så mycket som möjligt av det användargenererade innehållet). Även framtida wikiidéer, som att använda trust metrics, skulle då komma placeholderhanteringen till godo.

[1] URN ger ett speciellt problem just för rättsfall. Som jag sade tididgare är det att föredra att använda målnummer framför sidnummer i NJA när URN:en konstrueras, men för gamla rättsfall har vi inte alltid tillgång till denna. Då blir vi så illa tvugna att utgå från (säg) NJA-sidnumret (urn:x-nja:1977#s756). Det kan leda till en situation där vi för ett visst fall har både en placeholder och ett “riktigt” rättskälledokument i databasen, men med olika URNs. Det är inte så mycket att göra åt (men man kan naturligtvis skriva ett script som letar efter och upptäcker sådant)

Jag funderar på hur jag borde strukturera upp datamodellen för lagen.nu med avseende på användargenererat innehåll. Ett bra sätt att lösa programmering är sk teddybjörnsdebuggning, även känt som Rubber Ducking eller att använda en Cardboard Programmer. Idéen är alltså att förklara sitt problem för något föremål som representerar en åhörare; genom att man tvingar sig att formulera problemet på ett sådant sätt att det blir begripligt för denna tänkta åhörare reder man ofta ut det och hittar lösningen av sig själv. Genom att använda en teddybjörn, anka eller liknande slipper man störa någon annan. Och eftersom ingen ändå läser den här bloggen får den agera teddybjörn idag.

Det jag vill uppnå är att man ska kunna koppla metadata till godtyckliga rättskällor, på ett sådant sätt att det blir lätt att sammankoppla liknande källor. För teknikerna i publiken kanske det är värt att beskriva vad en rättskälla är; det är något som innehåller rättsregler och alltså kan användas som bas för ett juridiskt resonemang. Den typiska rättskällan är lagtext, men även förarbeten, domslut, juridisk litteratur och oskrivna rättsgrundsatser kan räknas som rättskällor. Avgränsning mellan rättskällor är inte alltid helt knivskarp; exempelvis kan man fråga sig om lagar (bestäms av riksdagen), förordningar (bestäms av regeringen enligt delegeringsregler från av riksdagen) och föreskrifter (bestäms av myndigheter enligt delegeringsregler från regeringen) är en och samma rättskälla eller tre olika.

Det är heller inte helt klart vad den minsta odelbara enheten i en rättskälla är; är det enskilda lagar som sådana, enskilda paragrafer, stycken, meningar, punkter eller ord?

Med detta sagt, vad vill jag uppnå med att “koppla metadata till godtyckliga rättskällor”? Jag vill förbättra sök- och sammankopplingsmöjligheterna. Ett exempel: NJA 1994 s 74 kallas allmänt “smultronfallet” bland jurister. Det behandlar frågor om verkshöjd för brukskonst, det s.k. dubbelskapandekriteriet och utvecklar en bevisbörderegel för att avgöra om intrång i upphovsrätt enligt 2 § URL har skett, som sedermera blivit känt som hoppande bevisbörda. Det ingår i kursfordran i C3:an på Stockholms universitet, kommenteras av Karnell i i NIR 1994 s 85 och omnämns av Olsson i Copyright, sjunde upplagan, s 72 Vi har här åtminstone åtta olika metadata (metadatum?). Några av dem hör till rättsfallet, några kopplar ihop rättsfallet med andra rättskällor. Några av dem är uttryckta direkt i rättsfallet såsom det är publicerat hos domstolsverket (explicit metadata), några kan deduceras från andra rättskällor (implicit metadata) och en del känner jag bara till efter att ha gått C3an (extern metadata) (sade jag föressten att jag fick Ab även där? Fyra kurser i rad, yay me!). Det finns ytterligare metadata som en erfaren immaterialrättsjurist skulle kunna plocka fram.

Vad ska man kunna uppnå med all denna metadata? Några exempel: Jag vill att man ska kunna, på google suggest-maner, mata in “smultr” och få upp “smultronfallet (NJA 1994 s 74)” i förslagslistan. På wikisidan för Dubbelskapandekriteriet ska det finnas en automatisk länk till rättsfallet, och även under eller bredvid texten i 2 § URL. När man tittar på NJA 2002 s 178 (”melodimålet”, som använder sig samma intrångsbedömning) ska det finnas en länk till rättsfallet, med “(hoppande bevisbörda)” som kommentar. Och naturligtvis ska det finnas ett omnämnande av Karnell och Levins artiklar på sidan som beskriver rättsfallet.

Hur ska det här representeras? Och hur ska vi dra skillnaden mellan explicit, implicit och extern metadata?

Det hjälper att kunna adressera saker; kanske i en URN-baserad syntax. Något i stil med följande:

• urn:x-dv:hd:T1138-92 motsvarar NJA 1994 s 74 (varför inte något i stil med urn:x-nja:1994#74? jo, även om alla jurister refererar till fallet genom dess sidnummer i det årets NJA-utgåva så är den bästa identifieraren för fallet faktiskt målnumret — dels för att den är officiell på ett sätt som den privat utgivna NJA inte är, dels för att den finns tillgänglig direkt — vilket sidnummer en dom hamnar på i NJA vet man inte förrän det årets utgåva är tryckt och klar)
• urn:x-dv:hd:T828-01 motsvarar NJA 2002 s 178 på samma sätt.
• urn:x-sfs:1960:729#P2 motsvarar 2 § upphovsrättslagen
• urn:x-su:jur:c3#kursfordran motsvarar kursfordran på c3:an
• urn:issn:0027-6723:1994#s85 motsvarar Karnells artikel i NIR
• urn:isbn:91-39-01172-0#s72 motsvarar Olssons omnämnande i Copyright.

Man kan observera att alla ovanstående uppgifter kan uttryckas på formen objekt - relation - subjekt — dvs den modell som används i RDF/semantic web. Vi kan uttrycka ovanstående metadata i N3-syntax. Några relationer tar vi från Dublin Core, andra hittar vi på själva.

@prefix dct:  <http ://purl.org/dc/terms/1.1/>
urn:x-dv:hd:T1138-92 "behandlar" "verkshöjd"
urn:x-dv:hd:T1138-92 dct:references urn:x-sfs:1960:729#P2

urn:x-dv:hd:T828-01 dct:references urn:x-dv:hd:T1138-92

urn:x-dv:hd:T1138-92 dct:alternative "Smultronfallet"
urn:x-dv:hd:T1138-92 "behandlar" "dubbelskapandekriteriet"
urn:x-dv:hd:T1138-92 "utvecklar" "hoppande bevisbörda"
urn:x-dv:hd:T828-01 "behandlar" "hoppande bevisbörda"
urn:x-su:jur:c3#kursfordran dct:requires  urn:x-dv:hd:T1138-92
urn:issn:0027-6723:1994#s85 "kommenterar" urn:x-dv:hd:T1138-92
urn:isbn:91-39-01172-0#s72  "kommenterar" urn:x-dv:hd:T1138-92

Listan över möjliga relationstyper måste förstås fastställas på något lämpligt sätt, ovanstående är bara ett snabbt utkast.

I ovanstående är de två första relationerna explicita; när man tittar på rättsfallsreferatet står det klart och tydligt “Lagrum: 2 § Upphovsrättslagen” och “Sökord: Verkshöjd”. Den tredje relationen är implicit — den framgår inte direkt av smultronfallet, men däremot från melodimålet (det är dock explicit metadata sett från melodimålets perspektiv). De avslutande relationerna är explicita — vi känner bara till dem om nån har manuellt matat in dem i systemet. Notera dock att om jag på något sätt skulle komma över en digitaliserad komplett lista över vilka rättsfall som behandlats i juridisk litteratur, och lagt in den som en (del av en) rättskälla, skulle de sista två (Karnells och Olssons kommentarer) övergå från extern till implicit metadata.

Egentligen kan man se det som en 2×2 matris, där ett metadatum sorteras in olika beroende på dels om det är automatiskt utvunnet (”inbyggt metadata”) eller manuellt inmatat (”tillfört metadata”), dels om det har den aktuella rättskällan som objekt eller subjekt. Om man ser det på det här viset blir termerna explicit och implicit metadata lite meningslösa.

Det här skulle vara ganska enkelt att överföra till en datamodell. Men för att skilja på inbyggt och tillfört metadata gör vi detta till två separata modeller (djangosyntax):

class IntrinsicRelation(models.Model):
    object = Models.charFields(maxlength=100)
    relation = Models.charFields(maxlength=100)
    subject = Models.charFields(maxlength=100)

class AddedRelation(models.Model):
    object = Models.charFields(maxlength=100)
    relation = Models.charFields(maxlength=100)
    subject = Models.charFields(maxlength=100)

IntrisicRelation-tabellen byggs om vid varje uppdatering, medans AddedRelation-tabellen editeras wiki-style. Den senare borde därför ha nån sorts history-funktionalitet. Jag tänker något i stil med bugzillas history, där man kan se vilka egenskaper (motsvarande våra relationer) som ändrats av vem och när. Kanske att det räcker med en loggtabell eller -fil?

Tja, ungefär så. Ett närliggande problem som jag inte har löst än är hur vi ska hantera rättsfall för vilka domstolsverket (där jag hämtat data ifrån) inte har någon information — det gäller exv alla rättsfall innan 1980. Många av dessa är intressanta, och man kan tänka sig att personer för hand matar in åtminstone några centrala metadata som enligt ovanstående modell är inbyggt (referat-id, rubrik, lagrum) så att man sedan har något att hänga upp tillfört metadata på (nyckelord). Men det blir en fråga för nästa teddybjörnsdebuggningssession.

Jag har länge varit sugen på att göra något smart med mikroformat. Jag håller för närvarande på att göra om IRIs webbplats, och där har vi en hel del uppgifter som lämpar sig för mikroformatsuppmärkning — kontaktuppgifter (hCard), kalendarium (hCalendar) och nyheter (hAtom), till exempel.

Ett designmål med IRIs webplats är att det ska vara statiska sidor — vi har inget CMS och min efterträdare måste kunna underhålla webplatsen i frontpage eller notepad. Det gör att traditionella metoder för att skapa RSS/Atom-flöden och iCalendar-feeds inte riktigt funkar. Ingenting ligger i en databas från vilken vi kan dra ut samma innehåll i flera olika versioner.

Men om de statiska sidorna är mikroformatsuppmärkta skulle jag kunna skriva ett script som tar en HTML-sida med hCalendar-data och spottar ut en iCalendar-feed, klar att inkludera i Apple iCal eller Google Calendar. Samma med nyhetssidan och valfri flödesläsare.

Det stora problemet är bara att göra det i den tekniska miljö vi har — classic ASP. Att parsa HTML med strängoperationer i VBscript känns inte så upphetsande, så helst vill jag använda mshtml. Tyvärr hittar jag ingen dokumentation om hur man kan använda MSHTML från Activescripting-världen med allt vad det innebär av Dispatchinterface och sen bindning — jag hittar inte ens rätt CLSID. doc = CreateObject(”mshtml.HTMLDocument2″) funkar inte, iallafall. Det finns en hel del dokumentation om hur man gör det utifrån en webbrowser control, men ett sådant objekt verkar inte gå att instansiera från serversidan. Hmm. Vid närmare efterforskningar verkar mshtml inte supportas på serversidan överhuvudtaget.

Kanske att jag ska fixa det med ett pythonscript på min egen server som använder Almost Universal Microformats Parser istället, bara för att få något som funkar?

En debatt som förts med växande intensitet det senaste halvåret är den om nätverksneutralitet — enkelt uttryckt, ska infrastrukturleverantörer få prioritera eller diskriminera datatrafik från olika tjänsteleverantörer (eller olika protokoll, eller andra kriterier) allt efter eget huvud, eller ska staten reglera området och sätta ramar för hur näten hanteras?

Även om det i grunden är en fråga om statlig inblandning eller företagsfrihet (och därmed har en komplex ekonomisk/juridisk karaktär) är den faktiska nätverkstekniken viktig. Det är talande att många mycket tekniskt insatta personer, som vanligtvis tenderar att vara skeptiska till statlig inblandning, är för nätverksneutralitetslagstiftning (från ett immaterialrättsperspektiv är Lessigs liknelse mellan Fair use och nätverksneutralitet också intressant).

Därför är det bra att Ed Felten (igen!) samlat sina bloggpostningar i ämnet från det senaste halvåret i ett tiosidigt, relativt lättläst paper som inte tar ställning i den politiska frågan (åtminstone inte direkt) utan bara reder ut vad nätverkspriotering/diskriminering innebär och vad det kan få för effekter i olika sammanhang. Om rätt personer läser det kanske vi slipper höra någon svensk politiker stå i riksdagen och förklara att Internet, det är en serie tuber.

Ed Felten kommenterar gårdagens WSJ-nyhet om att studenter vid amerikanska universitet, som har gratis tillgång till s.k. “lagliga nedladdningstjänster” för musik (exv nya Napster) ändå väljer att antingen ladda ner via icke auktoriserade tjänster eller köper filer från ITMS — det måste ses som en ganska kraftig spik i kistan för stereotypen att fildelare är snåla jävlar som inte vill betala för sig. Det handlar inte om betalningsovillighet — det handlar om man vill ha ett system som drar största möjliga nytta av teknikens möjligheter, inte ett worst-of-breed-system som kombinerar alla nackdelar med fysiska exemplar, digital förgänglighet och fingranulerade restriktionsmöjligheter. Bekvämlighet, flexibilitet, framtidssäkerhet, och det faktiska ägandet (med vilken följer rätten att sälja sin musik i andra hand, eller låna ut den till en kompis) är minst lika viktigt som priset.

Eller, för att ta ett exempel. För en månad sedan släpptes Entombeds nya EP, “When in Sodom”. Jag har inte hört den än. Den finns inte på svenska ITMS. Den finns inte på CDON downloads. På Homedownloads kommer jag inte ens in, varken med Firefox eller IE. Den finns inte ens på de vanliga nätbutikerna, ni vet de där old school-relikerna som säljer plastbitar. Gissa vad som är det bekväma alternativet?

Det här ämnar jag göra med lagen.nu 2.0:

• Rättskällor: Flera rättskällor (förutom SFS även förarbeten, rättsfall, vissa nämnd/myndighetsbeslut (ARN, JO), EG-direktiv, EG-domstolsdomar)
• Annotering: Göra rättskällorna kommenterbara och även bygga en generell jurist-wiki
• Koppling: Koppla ihop rättskällor och wikiartiklar med varandra semi-automatiskt (en generaliserad version av dagens länkar till rättsfall och lagändringar under kommentarerna)

Det här skulle vara nice-to-haves:

• Inkorporering av doktrin
• Rättsfall i litteraturen

Det finns också några saker jag inte kommer göra:

• Allt som kräver manuell interaktion med myndigheter eller andra — lagen.nu måste kunna köra och uppdateras i princip obevakat, som det gjort det senaste året.

Använder du lagen.nu? Vad skulle du vilja ha ut av en rättsinformationstjänst?

Jag var ute och joggade igår. Som bakgrundsmusik hade jag laddat min JOS-MP100 (old school!) med In Flames “Come Clarity“, inköpt på iTunes Music Store. Det funkade riktigt bra, men än så länge känns “Soundtrack to your escape” vassare. Dead End, med Lisa Miskovsky på gästsång, är dock en riktig hit.

Om du hajade till av föregående stycke, och det inte var relaterat till min kassa musiksmak, är du förmodligen en äkta tekniknörd. Det jag gjort — spelat ITMS-inköpt musik på en icke-iPod — går ju inte, om man ska tro den vanliga rapporteringen kring Apple, iTunes och anklagelserna kring missbruk av monopolställning.

Min lösning är synnerligen lowtech - jag använde helt enkelt iTunes inbyggda CD-bränningsfunktion för att skapa en vanlig ljud-CD. Denna rippade jag sedan till MP3 med EAC. Som en bonus har jag musiken uppbackad tills nästa gång hårddisken kraschar. Detta steg - vilket vi kan kalla ett digitalt analoghål - avlägsnar den tekniska skyddsåtgärd som FairPlay-DRM-systemet utgör. Samtidigt försämrar det ljudkvalitén, eftersom ljuddatat måste[1] gå igenom ett ytterligare komprimeringssteg utöver den AAC-komprimering som filerna är kodade med vid köptillfället. Men man bör notera att även om ITMS hade sålt musiken utan DRM hade jag inte automatiskt kunnat flytta musiken till min MP-100. Samma sak om jag hade kunnat använda hymn för att ta bort skyddet. Anledningen är att filerna som sagt är AAC-komprimerade. Det finns inga[2] digitala musikspelare förutom iPods som hanterar AAC-komprimering. Detta problem är dock mindre; det finns inte något som hindrar[3] spelartillverkarna att stödja AAC på samma sätt som nästan alla idag stödjer WMA, och man kan anta att om ITMS började sälja icke-DRMad AAC så skulle andra tillverkare än Apple börja stödja det.

En spännande fråga är dock om jag bröt mot 52 d § URL när jag brände ljud-CDn. Jag antar att det faktum att iTunes har, och alltid har haft, brännarfunktionen för ITMS-köpta låtar, är en indikation på att rättsinnehavarna gett sitt samtycke till kringgående av den aktuella skyddsåtgärden. Eller så kan man se det som att ett tekniskt skydd som det är möjligt att kringgå utan att man märker det omöjligtvis kan vara verkningsfullt, och att förfarandet därmed skulle falla utanför 52 b § 2 st.

[1] Såvida inte ens spelare klarar okomprimerad WAV, FLAC eller annat lossless-format, och har gott om lagringsutrymme.

[2] Såvitt jag vet — om du har en modell som stöds av Rockbox kan du eventuellt spela AAC på det viset.

[3] Förutom diverse mjukvarupatent, men såvitt jag vet är patentsituationen för AAC-dekodning inte mer snårig än för MP3 och WMA — jag kan ha fel här, dock.