Izrada digitalne biblioteke: izbor platforme, metapodaci i migracija zbirke

Ilustracija digitalne biblioteke: pretraga zbirke sa filterima, zapis građe sa metapodacima i pravima pristupa, i tok migracije od skeniranja do objave, u zlatno-crnom stilu

Digitalna biblioteka nije „sajt sa PDF-ovima“, već sistem u kom svaka jedinica građe ima opis (metapodatke), prava pristupa, trajnu adresu i mesto u pretrazi koja radi za istraživača, učenika i bibliotekara istovremeno. Projekti koji krenu od skeniranja bez plana završe sa hiljadama fajlova bez opisa koje niko ne može da nađe. Ovaj vodič ide redom kojim radimo: korisnici i zbirka (tip građe, prava pristupa, pretraga, jezici i pisma), platforma i standardi (kada je dovoljan WordPress, kada Omeka ili ResCarta, kada namenski sistem; metapodaci, formati, interoperabilnost) i migracija i održavanje (čišćenje podataka, probni uvoz, kopije, obuka i razvoj zbirke), tako da zbirka bude upotrebljiva i posle deset godina, ne samo na dan otvaranja.

Ukratko

  • Metapodaci pre skeniranja: šema (Dublin Core kao minimum), kontrolisani rečnici, trajni identifikatori; bez toga zbirka je gomila fajlova.
  • Platforma po zbirci i timu: WordPress za manje zbirke uz sajt ustanove, Omeka za zbirke sa standardnim metapodacima i izložbama, ResCarta za masovnu digitalizaciju sa punim tekstom, namenski sistem za velike i složene.
  • Prava pristupa po nivoima: javno, uz registraciju, samo u čitaonici, zatvoreno; sa jasnim izvorom prava za svaku jedinicu.
  • Migracija = čišćenje + probni uvoz + kontrola uzorka; održavanje = tri kopije, obuka i plan za rast zbirke.

Napomena: autorska prava, zaštita podataka o ličnosti u građi (pisma, fotografije, matične knjige) i obaveze prema arhivskim i bibliotečkim propisima utvrđuju pravna služba i nadležna matična ustanova; ovde je tehnički i organizacioni metod. Opšti okvir za sajt ustanove je u tekstu kako planirati sajt državne ustanove usklađen sa propisima.

Korisnici i zbirka

Pre platforme se odgovara na dva pitanja: ko će zbirku koristiti i šta je u njoj. Istraživač traži puni tekst i citiranje, učenik traži sliku i kratak opis, bibliotekar traži da unese i ispravi zapis za minut.

Korisnici i zbirka digitalne biblioteke: tipovi građe (knjige, periodika, fotografije, rukopisi, audio), prava pristupa po nivoima, pretraga sa filterima i punim tekstom, jezici i pisma
Tip građe određuje format i metapodatke; prava određuju ko šta vidi; pretraga određuje da li se išta nađe.

Tip građe i prava pristupa

Popis zbirke po tipu građe, jer svaki tip traži drugačiji format, opis i prikaz: knjige i brošure (višestranične, puni tekst kroz OCR, prikaz listanja), periodika (naslov → godište → broj → strana; najsloženija struktura), fotografije i razglednice (jedna slika, bogati opis, lokacija i datum), rukopisi i dokumenti (skenovi bez pouzdanog OCR-a, transkripcija), karte i planovi (velike slike sa zumiranjem), audio i video (transkript, trajanje, format), muzealije i 3D (fotografije iz više uglova). Za svaki tip: broj jedinica, stanje (već digitalizovano, treba skenirati, samo popisano), prosečan obim, gde su originali. Prava pristupa se određuju po jedinici, ne po zbirci: javni domen ili istekla prava (javno, sa preuzimanjem u punoj rezoluciji), autorska prava na snazi (samo pregled u niskoj rezoluciji ili uopšte ne, zavisno od ugovora sa nosiocem), građa sa ličnim podacima (matične knjige, pisma, fotografije osoba: ograničen pristup po propisima, ponekad samo u čitaonici), ustanova kao nosilac prava (odluka o licenci, npr. otvorena licenca sa navođenjem). Nivoi u sistemu: javno, uz registraciju, samo iz mreže ustanove/čitaonice, zatvoreno (samo za osoblje); svaka jedinica nosi polje „prava“ sa izvorom (odluka, ugovor, zakon) i datumom; pravna služba i matična ustanova odlučuju, sistem sprovodi. Vodeni žig i rezolucija: prikaz u srednjoj rezoluciji sa oznakom ustanove, preuzimanje u punoj rezoluciji samo gde prava dozvoljavaju; master fajlovi (TIFF) se ne izlažu, već čuvaju odvojeno.

Pretraga, filteri i jezici

Pretraga je razlog postojanja digitalne biblioteke: po metapodacima (naslov, autor, godina, mesto, tema, tip građe, zbirka) i po punom tekstu gde OCR postoji, sa jasnom oznakom da li je pogodak iz opisa ili iz teksta i sa isticanjem pogotka na strani; filteri (faseti) po tipu, godini (raspon), autoru, zbirci, jeziku, pravima; sortiranje po relevantnosti, datumu, naslovu; pretraga koja razume ćirilicu i latinicu kao isto (transliteracija u indeksu), stare pravopise i skraćenice kroz sinonime, greške u kucanju; pregledanje bez pretrage (po zbirkama, po godinama, po mestima, po abecedi autora) za korisnike koji ne znaju šta traže. Prikaz jedinice: pregledač slika sa zumiranjem i listanjem (IIIF pregledač je danas standard koji omogućava i deljenje sa drugim ustanovama), transkript ili OCR tekst uz sliku, kompletan zapis metapodataka, način citiranja sa trajnom adresom, prava i uslovi korišćenja, preuzimanje gde je dozvoljeno, povezane jedinice (isto godište, isti autor). Jezici i pisma: interfejs na srpskom (ćirilica i latinica) i engleskom bar za navigaciju i osnovna polja, jer zbirke traže i istraživači iz inostranstva; metapodaci na jeziku građe sa transliteracijom u indeksu; višejezične zbirke (mađarski, nemački, latinski u starijoj građi) sa poljem jezika po jedinici. Pristupačnost: alt tekst i opisi za slike, OCR tekst kao pristupačna alternativa skenu, tastatura i čitač ekrana kroz pregledač; kako se to testira, u WCAG vodiču za organizacije. Test pre izbora platforme: deset stvarnih upita od tri vrste korisnika (istraživač, učenik, bibliotekar) i lista onoga što svaki od njih mora da može da uradi; to postaje test lista za platformu.

Platforma i standardi

Platforma se bira po zbirci i timu koji će je održavati, ne po onome što je neko video na konferenciji. Standardi za metapodatke i formate biraju se pre platforme, jer ostaju i kad se platforma promeni.

Izbor platforme za digitalnu biblioteku: WordPress, Omeka, ResCarta i namenski sistemi upoređeni po zbirci i timu; metapodaci (Dublin Core, MODS), formati, trajni identifikatori i interoperabilnost
Četiri opcije po zbirci i timu. Standardi (metapodaci, formati, identifikatori) nadžive svaku od njih.

Kada razmotriti Omeka ili ResCarta

WordPress sa prilagođenim tipom sadržaja je dovoljan kad je zbirka manja (orijentaciono do nekoliko hiljada jedinica), građa pretežno slike i pojedinačni dokumenti, metapodaci jednostavni, i kad digitalna biblioteka treba da bude deo sajta ustanove sa istim uredničkim panelom; prednost su tim koji već zna WordPress, integracija sa sajtom i niža cena; granica su periodika sa složenom hijerarhijom, puni tekst na velikom obimu i razmena sa drugim sistemima, za šta WordPress traži mnogo prilagođavanja. Omeka (Omeka S ili Omeka Classic) je otvorena platforma napravljena za zbirke: Dublin Core i druge šeme ugrađene, kontrolisani rečnici, IIIF, digitalne izložbe (priče kroz zbirku), više zbirki i ustanova u jednoj instalaciji, izvoz i uvoz u standardnim formatima; razmotriti kad su metapodaci važni, kad se planiraju izložbe i saradnja sa drugim ustanovama, kad tim ima bar jednu osobu koja će učiti alat; ograničenja: puni tekst velikog obima i periodika traže dodatke i prilagođavanja, a interfejs za posetioce traži temu po meri da bi izgledao kao deo ustanove. ResCarta je otvoreni skup alata za masovnu digitalizaciju sa punim tekstom (OCR, METS/MODS metapodaci, pretraga kroz tekst), pogodan za periodiku, knjige i arhivske serije gde je puni tekst glavna vrednost; razmotriti kad je obim veliki i tekstualan; interfejs i prilagođavanje traže tehničku podršku. Namenski sistemi (komercijalni ili veliki otvoreni sistemi za repozitorijume) dolaze u obzir za nacionalne i univerzitetske zbirke sa stotinama hiljada jedinica, zahtevima za dugoročno čuvanje i integracijom sa katalogom; traže IT tim i budžet za održavanje. Hibrid koji često radi: zbirka u Omeki ili ResCarti, javni sajt ustanove na WordPressu koji je uključuje (pretraga i istaknute jedinice), jedna prijava za urednike gde je moguće. Kriterijumi isti kao za svaki sistem: otvoreni formati i izvoz (izlaz iz platforme), zajednica i podrška, ko će održavati, hosting koji podnosi terabajte, cena za pet godina; kako se bira hosting za velike zbirke, u tekstu gde hostovati sajt u Srbiji.

Metapodaci, formati i interoperabilnost

Šema metapodataka: Dublin Core (15 osnovnih elemenata: naslov, autor, tema, opis, izdavač, datum, tip, format, identifikator, izvor, jezik, relacija, pokrivenost, prava, saradnik) je minimum koji svaka platforma razume i koji omogućava razmenu; za biblioteke sa složenijom građom MODS (bogatiji bibliografski opis) ili EAD za arhivske fondove; struktura višestranične građe u METS-u; odluka se donosi sa bibliotekarima i matičnom ustanovom, i dokumentuje u „profilu primene“ (koja polja su obavezna, koja ponovljiva, kako se unosi datum, kako ime). Kontrolisani rečnici: imena autora u jednom obliku (normativna baza ili interna lista), mesta iz jednog šifarnika, teme iz tezaurusa ili bar interne liste, tipovi građe iz fiksne liste; bez toga pretraga po autoru daje pet varijanti istog imena. Trajni identifikatori: svaka jedinica ima identifikator koji se ne menja pri promeni platforme (interni šifarnik plus, gde je moguće, spoljni sistem trajnih identifikatora), i trajnu adresu koja se citira; adrese se ne menjaju, a pri migraciji se stare preusmeravaju. Formati: master (arhivski) fajl u TIFF-u ili drugom nekompresovanom formatu, u rezoluciji po standardu za tip građe (npr. 300–600 ppi za tekst, više za fotografije i karte), sa kontrolnim zbirom (checksum) i čuvanjem odvojeno od sistema za prikaz; prikazni fajlovi (JPEG/WebP, PDF sa OCR slojem, piramidalni TIFF ili IIIF za zumiranje) generisani iz mastera; audio u nekompresovanom masteru i kompresovanom prikazu; sve to zapisano u planu digitalizacije. OCR i transkripcija: za štampanu građu automatski OCR (sa podrškom za ćirilicu i stare fontove, uz procenu tačnosti na uzorku), za rukopise transkripcija ljudi ili uz pomoć specijalizovanih alata sa proverom; OCR tekst se čuva uz jedinicu kao pretraživ sloj i pristupačna alternativa. Interoperabilnost: OAI-PMH za razmenu metapodataka sa agregatorima (nacionalnim i evropskim), IIIF za slike, izvoz u CSV/XML za sve zapise; ustanova koja to podesi na početku može da učestvuje u zajedničkim portalima bez novog projekta.

PlatformaZa koju zbirkuPrednostiOgraničenjaTim koji traži
WordPress + prilagođeni tip sadržajaManje zbirke (orijent. do nekoliko hiljada), slike i pojedinačni dokumenti, deo sajta ustanoveIsti panel kao sajt, poznat tim, integracija, cenaPeriodika, puni tekst velikog obima, razmena traže dosta prilagođavanjaUrednik + agencija za WordPress
Omeka (S / Classic)Zbirke sa standardnim metapodacima, izložbe, više zbirki i ustanovaDublin Core i rečnici ugrađeni, IIIF, izložbe, izvoz/uvoz, otvorenoTema po meri za izgled; puni tekst i periodika kroz dodatkeJedna osoba koja uči alat + tehnička podrška
ResCartaMasovna digitalizacija sa punim tekstom: periodika, knjige, arhivske serijeOCR i puni tekst, METS/MODS, otvorenoInterfejs i prilagođavanje traže tehnikuTehnička podrška, digitalizacioni tim
Namenski / repozitorijumNacionalne, univerzitetske, velike zbirke; dugoročno čuvanje; integracija sa katalogomObim, standardi, čuvanjeBudžet, IT tim, složenostIT tim, ugovor o održavanju
HibridZbirka u Omeki/ResCarti + javni sajt na WordPressuSvako radi ono za šta je pravljeno; jedan izgledDva sistema za održavanjeAgencija + osoba za zbirku

Migracija i održavanje

Skoro svaka ustanova već ima nešto: tabelu u Excelu, stari katalog, fajlove na diskovima sa nazivima „sken_0001“. Migracija je posao čišćenja pre uvoza; održavanje je ono što zbirku drži živom posle projekta.

Migracija i održavanje digitalne biblioteke: čišćenje podataka i normalizacija, probni uvoz, kontrola uzorka, backup u više kopija, obuka i plan razvoja zbirke
Čišćenje, mapiranje, probni uvoz, kontrola uzorka, pa tek pun uvoz. Zatim kopije, obuka i plan za rast.

Čišćenje podataka

Popis izvora: gde su postojeći opisi (tabele, stari sistem, kartice, katalog), gde su fajlovi (diskovi, server, DVD), kako su povezani (naziv fajla = inventarni broj? ili ništa); rezultat je tabela sa brojem zapisa i fajlova po izvoru i procenom kvaliteta. Normalizacija: datumi u jedan oblik (i za nepotpune: „oko 1920“, „1920–1925“, po pravilu profila), imena autora ujednačena prema listi, mesta prema šifarniku, tipovi građe prema fiksnoj listi, jezici po kodu, prava po nivou sa izvorom; duplikati spojeni; zapisi bez fajla i fajlovi bez zapisa označeni i rešeni pre uvoza; nazivi fajlova preimenovani po pravilu (identifikator jedinice + redni broj strane). Mapiranje: tabela stara kolona → novo polje po profilu, sa pravilima transformacije, i sa onim što se ne prenosi (i zašto); mapiranje odobravaju bibliotekari. Probni uvoz na 50–100 jedinica svih tipova, pa kontrola uzorka po listi: zapis kompletan, slike u redu, redosled strana, OCR prisutan, prava ispravna, trajna adresa radi, pretraga nalazi; greške se vraćaju u pravila čišćenja, pa novi probni uvoz; tek onda pun uvoz u serijama sa kontrolom uzorka svake serije. Stare adrese: ako je zbirka bila javna, sve stare adrese jedinica se preusmeravaju na nove (301), a citirani identifikatori ostaju; princip je isti kao pri svakom preseljenju sajta, opisan u tekstu redizajn WordPress sajta bez gubitka SEO pozicija. Digitalizacija koja tek sledi radi se po istom profilu od prvog dana: zapis pre skeniranja, naziv fajla po pravilu, kontrola kvaliteta skena na uzorku, master i prikazni fajl; to sprečava da se za dve godine radi novo čišćenje.

Backup, obuka i razvoj

Kopije po pravilu tri: master fajlovi i baza metapodataka postoje u najmanje tri kopije, na dva različita medija ili sistema, od kojih je jedna na drugoj lokaciji; kontrolni zbirovi se proveravaju periodično (da se otkrije tiho oštećenje fajlova), a obnova se testira jednom godišnje na uzorku sa merenim vremenom; kopije koje nisu vraćene nisu kopije, a kod zbirki od terabajta obnova traje danima, što treba znati unapred. Hosting i prostor: master fajlovi na skladištu za arhiviranje (ne na veb serveru), prikazni fajlovi i sistem na hostingu sa planom rasta (koliko terabajta za pet godina), sa jasnom lokacijom i ugovorom; za ustanove sa pravom na državnu infrastrukturu, po njenim pravilima. Obuka: bibliotekari uče unos i ispravku zapisa, kontrolu kvaliteta i objavu (dan-dva sa uputstvom sa slikama), IT ili izvođač uče administraciju, kopije i ažuriranja; uputstvo i profil primene su dokumenti koje sledeći kolega može da prati bez obuke. Održavanje sistema: ažuriranja platforme i dodataka na probnom serveru pa na živom, nadzor dostupnosti, pregled logova, kvartalna provera pretrage sa listom stvarnih upita, godišnja provera integriteta fajlova; sve u ugovoru o održavanju sa izveštajem; šta ono opšte obuhvata, u tekstu održavanje sajta: šta obuhvata. Razvoj zbirke: plan digitalizacije po prioritetu (ugrožena građa, najtraženija, građa sa isteklim pravima), godišnji cilj u jedinicama, izložbe i sadržaj koji zbirku predstavlja (jer se zbirka koristi kad ljudi znaju da postoji), učešće u agregatorima, merenje (posete, pretrage, preuzimanja, zahtevi istraživača, upiti bez rezultata) sa godišnjim izveštajem. Digitalne biblioteke gradimo kao deo sajta ustanove ili kao odvojen sistem sa zajedničkim izgledom, sa profilom metapodataka, migracijom i održavanjem uključenim u projekat; pregled svih usluga na stranici usluge.

Najčešća pitanja o izradi digitalne biblioteke

Da li je WordPress dovoljan za digitalnu biblioteku?

Za manje zbirke slika i pojedinačnih dokumenata (orijentaciono do nekoliko hiljada jedinica) sa jednostavnim metapodacima, kao deo sajta ustanove, jeste, uz prilagođeni tip sadržaja i polja po Dublin Core-u. Za periodiku, puni tekst velikog obima, izložbe i razmenu sa drugim ustanovama bolje su Omeka ili ResCarta, po potrebi u hibridu sa WordPress sajtom.

Koje metapodatke treba da imamo?

Najmanje Dublin Core (naslov, autor, datum, tip, format, identifikator, jezik, prava i ostali elementi), sa profilom primene koji kaže koja su polja obavezna i kako se unose, i kontrolisanim rečnicima za imena, mesta, teme i tipove. Za složeniju bibliografsku građu MODS, za arhivske fondove EAD, za strukturu višestranične građe METS; odluku donose bibliotekari sa matičnom ustanovom.

Šta sa građom pod autorskim pravima?

Prava se određuju po jedinici sa izvorom (zakon, ugovor, odluka) i sprovode kroz nivoe pristupa: javno, uz registraciju, samo u čitaonici, zatvoreno; građa pod pravima se prikazuje samo koliko ugovor dozvoljava, a građa sa ličnim podacima po propisima o zaštiti podataka. Odlučuju pravna služba i matična ustanova, sistem sprovodi.

Kako da prenesemo postojeću tabelu i fajlove u novi sistem?

Popis izvora, čišćenje i normalizacija (datumi, imena, mesta, tipovi, prava, duplikati, fajlovi bez zapisa), mapiranje kolona na polja profila koje odobre bibliotekari, probni uvoz na uzorku svih tipova sa kontrolom po listi, ispravka pravila, pa pun uvoz u serijama sa kontrolom svake. Stare javne adrese se preusmeravaju.

Kako se čuva zbirka dugoročno?

Master fajlovi u nekompresovanom formatu sa kontrolnim zbirovima, odvojeno od sistema za prikaz; tri kopije na dva medija, jedna na drugoj lokaciji; periodična provera integriteta i godišnji test obnove; otvoreni formati i izvoz metapodataka da zbirka nadživi platformu; plan prostora za pet godina i ugovor o održavanju sa izveštajem.

Planirate digitalizaciju zbirke?

Počinjemo popisom zbirke i korisnika, pišemo profil metapodataka sa vašim bibliotekarima, biramo platformu po zbirci i timu, vodimo migraciju sa probnim uvozom i kontrolom, i ostajemo na održavanju sa kopijama, obukom i planom razvoja.


O autoru

Pozovite nas 069 515 8186