Відмінності між версіями «Міграція даних у Koha»

Матеріал з Koha Ukraine Wiki
Перейти до: навігація, пошук
(Корисні посилання)
м (Імпортовано 27 версій)
 
(Не показана 21 проміжна версія 2 користувачів)
Рядок 1: Рядок 1:
 +
== Підготовка бібліографічних записів ==
 +
Koha підтримує імпорт біб-записів у двох форматах
 +
* 1) текстовий xml-формат [http://www.loc.gov/standards/marcxml/ MARCXML] (краще, легко редагується)
 +
* 2) бінарний формат за ISO2709 (розширення різні бувають, напр. *.iso, *.mrc, *.ldb)
 +
 +
Шукаємо у АБІС з якої мігруємо експорт у ці формати. Вибираємо варіант експорту з примірниками.
 +
Інколи файл завеликий для обробки, тоді експортуємо частинами.
 +
За можливості вибираємо кодування UTF8.
 +
Машиночитний MARC-формат:
 +
* UNIMARC (похідні УКРМАРК, РУСМАРК; більш поширений у СНГ та Європі; курує IFLA),
 +
* MARC21 (більш поширений у всьому світі загалом; курує Бібліотека Конгресу).
 +
 +
Українізація АБІС Koha більш пророблена для UNIMARC (додаткові структури біб-записів, більша протестованість по Україні) однак український переклад для MARC21 також є і Koha загалом добре працює з обидвома форматами.
 +
 +
Якщо немає експорту в один зі згаданих форматів (1 чи 2), експортуємо в наявні формати чи робимо експорт в CSV з бази даних АБІС. Далі користуємось [[MARC-інструменти|МАРК-інструментами]] чи іншими засобами для отримання marcxml-файлів.
 +
 +
Експортовані з АБІС бібліографічні marcxml-файли необхідно підкоректувати для імпорту в Koha:
 +
* кодування utf8
 +
* UNIMARC
 +
** деякі поля з діапазону поза UNIMARC (9XX-ті) необхідно підігнати під відповідні у Koha (942,995), див. ще це [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/koha2marclinks.pl]
 +
** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/itemtypes.pl]), підрозділи розміщення (995b, 995c, [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/branches.pl]), види (ccode, 995h [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/authorised_values.pl]), можливо ще інші авторитетні значення ([http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/authorised_values.pl]).
 +
** обов’язкові поля/підполя:
 +
*** 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)
 +
*** 995c — код підрозділу розміщення (усі підрозділи/бібліотеки повинні бути попередньо створені в Коха: Домівка › Керування › Бібліотеки та групи)
 +
*** …
 +
* MARC21
 +
** деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)
 +
** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (…уточнити…), підрозділи розміщення (…уточнити…), види (…уточнити…), можливо ще інші авторитетні значення (…уточнити…).
 +
** обов’язкові поля/підполя:
 +
*** …
 +
 +
Для коректування полів/підполів можна скористатися [[MARC-інструменти|МАРК-інструментами]], дещо некритичне можна потім пакетно поредагувати у Koha.
 +
 +
== Авторитетні файли ==
 +
Koha підтримує авторитетні джерела (чи файли), див. напр. [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/authtypes.pl].
 +
Про їх міграцію буде пізніше…
 +
 +
== Читацькі дані ==
 +
 +
Щодо міграції читачів див. тут [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/tools/import_borrowers.pl], там є приклад CSV-файлу з Koha-полями та будь-якими додатковими атрибутами.
 +
Потрібно звернути увагу на правильні дати та категорії читачів ([http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/categories.pl]).
 +
 +
== Тривалі дії у веб-інтерфейсі Koha ==
 +
Деякі операції:
 +
* імпорт sql-таблиць при встановленні
 +
* пакетний імпорт читачів через веб-інтерфейс Koha
 +
* пакетний імпорт біб-записів через веб-інтерфейс Koha
 +
* тощо
 +
вимагають тривалого очікування від веб-сервера.
 +
Цей проміжок зазвичай обмежений у веб-сервері Apache (5 хв.).
 +
Спробуйте в налаштуваннях Apache (/etc/apache2/apache2.conf) виставити більший час (Timeout 600 (секунди), для великих імпортів цей термін може бути збільшений до багатьох годин).
 +
 +
Після зміни часу очікування перезапустіть Apache:
 +
sudo /etc/init.d/apache2 restart
 +
 
== Імпорт marcxml-файлу через веб-інтерфейс ==
 
== Імпорт marcxml-файлу через веб-інтерфейс ==
  
Рядок 14: Рядок 69:
  
 
  sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt
 
  sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt
 +
 +
Скрипт bulkmarcimport.pl запускайте перший раз з параметром „-t“ (це тестовий розбір даних без реального імпорту). „-d“ — якщо необхідно затерти усі попередні дані. Інші параметри запуску bulkmarcimport.pl див. тут [[bulkmarcimport.pl]].
  
 
Запуск переіндексації:
 
Запуск переіндексації:
Рядок 21: Рядок 78:
  
 
Примітка: замінити chl на власний екземпляр встановлення АБІС Koha.
 
Примітка: замінити chl на власний екземпляр встановлення АБІС Koha.
 +
 +
== Див. також ==
 +
* [[MARC-інструменти]]
 +
* [[bulkmarcimport.pl]]
 +
* [[Бібліотечні стандарти]]
 +
* [[Міграція з ІРБІС на Koha]]
 +
* [[Міграція з УФД/Бібліотека на Koha]]
 +
* [[Міграція з LiberMedia на Koha]]
 +
* [[Міграція з MarcSQL на Koha]]
 +
* [[Міграція з Aleph на Koha]]
 +
* [[Міграція з ISIS на Koha]]
 +
* [[Бібліотеки, що тестують чи мігрують на АБІС Koha]]
  
 
== Корисні посилання ==
 
== Корисні посилання ==
Рядок 27: Рядок 96:
 
* [https://wiki.koha-community.org/wiki/Migration_from_Millennium_iii_to_Koha Migration from Millennium iii to Koha] (Koha Wiki)
 
* [https://wiki.koha-community.org/wiki/Migration_from_Millennium_iii_to_Koha Migration from Millennium iii to Koha] (Koha Wiki)
 
* [https://wiki.koha-community.org/wiki/Migration_from_Librarians_Edge_to_Koha Migration from Librarians Edge to Koha] (Koha Wiki)
 
* [https://wiki.koha-community.org/wiki/Migration_from_Librarians_Edge_to_Koha Migration from Librarians Edge to Koha] (Koha Wiki)
 +
* [https://perldoc.koha-community.org/misc/migration_tools/bulkmarcimport.html bulkmarcimport.pl — скрипт імпорту бібліографічних/авторитетних записів у Коха] (Koha PerlDOC)

Поточна версія на 23:39, 14 червня 2020

Підготовка бібліографічних записів

Koha підтримує імпорт біб-записів у двох форматах

  • 1) текстовий xml-формат MARCXML (краще, легко редагується)
  • 2) бінарний формат за ISO2709 (розширення різні бувають, напр. *.iso, *.mrc, *.ldb)

Шукаємо у АБІС з якої мігруємо експорт у ці формати. Вибираємо варіант експорту з примірниками. Інколи файл завеликий для обробки, тоді експортуємо частинами. За можливості вибираємо кодування UTF8. Машиночитний MARC-формат:

  • UNIMARC (похідні УКРМАРК, РУСМАРК; більш поширений у СНГ та Європі; курує IFLA),
  • MARC21 (більш поширений у всьому світі загалом; курує Бібліотека Конгресу).

Українізація АБІС Koha більш пророблена для UNIMARC (додаткові структури біб-записів, більша протестованість по Україні) однак український переклад для MARC21 також є і Koha загалом добре працює з обидвома форматами.

Якщо немає експорту в один зі згаданих форматів (1 чи 2), експортуємо в наявні формати чи робимо експорт в CSV з бази даних АБІС. Далі користуємось МАРК-інструментами чи іншими засобами для отримання marcxml-файлів.

Експортовані з АБІС бібліографічні marcxml-файли необхідно підкоректувати для імпорту в Koha:

  • кодування utf8
  • UNIMARC
    • деякі поля з діапазону поза UNIMARC (9XX-ті) необхідно підігнати під відповідні у Koha (942,995), див. ще це [1]
    • для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [2]), підрозділи розміщення (995b, 995c, [3]), види (ccode, 995h [4]), можливо ще інші авторитетні значення ([5]).
    • обов’язкові поля/підполя:
      • 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)
      • 995c — код підрозділу розміщення (усі підрозділи/бібліотеки повинні бути попередньо створені в Коха: Домівка › Керування › Бібліотеки та групи)
  • MARC21
    • деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)
    • для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (…уточнити…), підрозділи розміщення (…уточнити…), види (…уточнити…), можливо ще інші авторитетні значення (…уточнити…).
    • обов’язкові поля/підполя:

Для коректування полів/підполів можна скористатися МАРК-інструментами, дещо некритичне можна потім пакетно поредагувати у Koha.

Авторитетні файли

Koha підтримує авторитетні джерела (чи файли), див. напр. [6]. Про їх міграцію буде пізніше…

Читацькі дані

Щодо міграції читачів див. тут [7], там є приклад CSV-файлу з Koha-полями та будь-якими додатковими атрибутами. Потрібно звернути увагу на правильні дати та категорії читачів ([8]).

Тривалі дії у веб-інтерфейсі Koha

Деякі операції:

  • імпорт sql-таблиць при встановленні
  • пакетний імпорт читачів через веб-інтерфейс Koha
  • пакетний імпорт біб-записів через веб-інтерфейс Koha
  • тощо

вимагають тривалого очікування від веб-сервера. Цей проміжок зазвичай обмежений у веб-сервері Apache (5 хв.). Спробуйте в налаштуваннях Apache (/etc/apache2/apache2.conf) виставити більший час (Timeout 600 (секунди), для великих імпортів цей термін може бути збільшений до багатьох годин).

Після зміни часу очікування перезапустіть Apache:

sudo /etc/init.d/apache2 restart

Імпорт marcxml-файлу через веб-інтерфейс

http://my_koha_intranet/cgi-bin/koha/tools/stage-marc-import.pl

Примітка: немає виводу помилок імпорту. Підходить лише для вивірених marcxml-файлів.

Імпорт marcxml-файлу з терміналу

Маємо бібліографічний marcxml-файл у форматі MARC21

sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=MARC21 -m=MARCXML -file=1511_utf8_prepared.xml > log.txt

Або маємо бібліографічний marcxml-файл у форматі UNIMARC

sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt

Скрипт bulkmarcimport.pl запускайте перший раз з параметром „-t“ (це тестовий розбір даних без реального імпорту). „-d“ — якщо необхідно затерти усі попередні дані. Інші параметри запуску bulkmarcimport.pl див. тут bulkmarcimport.pl.

Запуск переіндексації:

koha-restart-zebra chl
koha-rebuild-zebra -b -f chl

Примітка: замінити chl на власний екземпляр встановлення АБІС Koha.

Див. також

Корисні посилання