Міграція даних у Koha - Історія редагувань

Dubyk: Імпортовано 27 версій

2020-06-14T20:39:23Z

Імпортовано 27 версій

← Попередня версія	Версія за 23:39, 14 червня 2020
(Немає відмінностей)

Dubyk: /* Імпорт marcxml-файлу з терміналу */

2018-03-12T13:54:09Z

Імпорт marcxml-файлу з терміналу

← Попередня версія		Версія за 16:54, 12 березня 2018
Рядок 70:		Рядок 70:
	sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt		sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt

	Скрипт bulkmarcimport.pl запускайте перший раз з параметром „-t“ (це тестовий розбір даних без реального імпорту). „-d“ — якщо необхідно затерти усі попередні дані. Інші параметри запуску bulkmarcimport.pl див. тут ~~https://perldoc~~.~~koha-community.org/misc/migration_tools/bulkmarcimport~~.~~html~~		Скрипт bulkmarcimport.pl запускайте перший раз з параметром „-t“ (це тестовий розбір даних без реального імпорту). „-d“ — якщо необхідно затерти усі попередні дані. Інші параметри запуску bulkmarcimport.pl див. тут [[bulkmarcimport.pl]].

	Запуск переіндексації:		Запуск переіндексації:

Dubyk: /* Див. також */

2018-03-12T13:53:35Z

Див. також

← Попередня версія		Версія за 16:53, 12 березня 2018
Рядок 81:		Рядок 81:
	== Див. також ==		== Див. також ==
	* [[MARC-інструменти]]		* [[MARC-інструменти]]
			* [[bulkmarcimport.pl]]
	* [[Бібліотечні стандарти]]		* [[Бібліотечні стандарти]]
	* [[Міграція з ІРБІС на Koha]]		* [[Міграція з ІРБІС на Koha]]

Dubyk: /* Корисні посилання */

2017-12-07T13:19:51Z

Корисні посилання

← Попередня версія		Версія за 16:19, 7 грудня 2017
Рядок 95:		Рядок 95:
	* [https://wiki.koha-community.org/wiki/Migration_from_Millennium_iii_to_Koha Migration from Millennium iii to Koha] (Koha Wiki)		* [https://wiki.koha-community.org/wiki/Migration_from_Millennium_iii_to_Koha Migration from Millennium iii to Koha] (Koha Wiki)
	* [https://wiki.koha-community.org/wiki/Migration_from_Librarians_Edge_to_Koha Migration from Librarians Edge to Koha] (Koha Wiki)		* [https://wiki.koha-community.org/wiki/Migration_from_Librarians_Edge_to_Koha Migration from Librarians Edge to Koha] (Koha Wiki)
			* [https://perldoc.koha-community.org/misc/migration_tools/bulkmarcimport.html bulkmarcimport.pl — скрипт імпорту бібліографічних/авторитетних записів у Коха] (Koha PerlDOC)

Dubyk: /* Імпорт marcxml-файлу з терміналу */

2017-12-07T13:17:04Z

Імпорт marcxml-файлу з терміналу

← Попередня версія		Версія за 16:17, 7 грудня 2017
Рядок 69:		Рядок 69:

	sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt		sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt

			Скрипт bulkmarcimport.pl запускайте перший раз з параметром „-t“ (це тестовий розбір даних без реального імпорту). „-d“ — якщо необхідно затерти усі попередні дані. Інші параметри запуску bulkmarcimport.pl див. тут https://perldoc.koha-community.org/misc/migration_tools/bulkmarcimport.html

	Запуск переіндексації:		Запуск переіндексації:

Dubyk в 11:43, 6 грудня 2017

2017-12-06T11:43:09Z

← Попередня версія		Версія за 14:43, 6 грудня 2017
Рядок 18:		Рядок 18:
	* кодування utf8		* кодування utf8
	* UNIMARC		* UNIMARC
	** деякі поля з діапазону поза UNIMARC (9XX-ті) необхідно підігнати під відповідні у Koha (942,995), див. ще це [http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/koha2marclinks.pl]		** деякі поля з діапазону поза UNIMARC (9XX-ті) необхідно підігнати під відповідні у Koha (942,995), див. ще це [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/koha2marclinks.pl]
	** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/itemtypes.pl]), підрозділи розміщення (995b, 995c, [http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/branches.pl]), види (ccode, 995h [http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/authorised_values.pl]), можливо ще інші авторитетні значення ([http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/authorised_values.pl]).		** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/itemtypes.pl]), підрозділи розміщення (995b, 995c, [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/branches.pl]), види (ccode, 995h [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/authorised_values.pl]), можливо ще інші авторитетні значення ([http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/authorised_values.pl]).
	** обов’язкові поля/підполя:		** обов’язкові поля/підполя:
	*** 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)		*** 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)
Рядок 33:		Рядок 33:

	== Авторитетні файли ==		== Авторитетні файли ==
	Koha підтримує авторитетні джерела (чи файли), див. напр. [http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/authtypes.pl].		Koha підтримує авторитетні джерела (чи файли), див. напр. [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/authtypes.pl].
	Про їх міграцію буде пізніше…		Про їх міграцію буде пізніше…

	== Читацькі дані ==		== Читацькі дані ==

	Щодо міграції читачів див. тут [http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/tools/import_borrowers.pl], там є приклад CSV-файлу з Koha-полями та будь-якими додатковими атрибутами.		Щодо міграції читачів див. тут [http://liblab.tntu.edu.ua:8888/cgi-bin/koha/tools/import_borrowers.pl], там є приклад CSV-файлу з Koha-полями та будь-якими додатковими атрибутами.
	Потрібно звернути увагу на правильні дати та категорії читачів ([http://~~194~~.44.~~143~~.~~106~~:~~8080~~/cgi-bin/koha/admin/categories.pl]).		Потрібно звернути увагу на правильні дати та категорії читачів ([http://liblab.tntu.edu.ua:8888/cgi-bin/koha/admin/categories.pl]).

	== Тривалі дії у веб-інтерфейсі Koha ==		== Тривалі дії у веб-інтерфейсі Koha ==

Dubyk: /* Підготовка бібліографічних записів */

2017-12-06T11:40:54Z

Підготовка бібліографічних записів

← Попередня версія		Версія за 14:40, 6 грудня 2017
Рядок 23:		Рядок 23:
	*** 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)		*** 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)
	*** 995c — код підрозділу розміщення (усі підрозділи/бібліотеки повинні бути попередньо створені в Коха: Домівка › Керування › Бібліотеки та групи)		*** 995c — код підрозділу розміщення (усі підрозділи/бібліотеки повинні бути попередньо створені в Коха: Домівка › Керування › Бібліотеки та групи)
			*** …
	* MARC21		* MARC21
	** деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)		** деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)
	** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (…уточнити…), підрозділи розміщення (…уточнити…), види (…уточнити…), можливо ще інші авторитетні значення (…уточнити…).		** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (…уточнити…), підрозділи розміщення (…уточнити…), види (…уточнити…), можливо ще інші авторитетні значення (…уточнити…).
			** обов’язкові поля/підполя:
			*** …

	Для коректування полів/підполів можна скористатися [[MARC-інструменти\|МАРК-інструментами]], дещо некритичне можна потім пакетно поредагувати у Koha.		Для коректування полів/підполів можна скористатися [[MARC-інструменти\|МАРК-інструментами]], дещо некритичне можна потім пакетно поредагувати у Koha.

Dubyk: /* Підготовка бібліографічних записів */

2017-12-06T11:40:12Z

Підготовка бібліографічних записів

← Попередня версія		Версія за 14:40, 6 грудня 2017
Рядок 21:		Рядок 21:
	** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [http://194.44.143.106:8080/cgi-bin/koha/admin/itemtypes.pl]), підрозділи розміщення (995b, 995c, [http://194.44.143.106:8080/cgi-bin/koha/admin/branches.pl]), види (ccode, 995h [http://194.44.143.106:8080/cgi-bin/koha/admin/authorised_values.pl]), можливо ще інші авторитетні значення ([http://194.44.143.106:8080/cgi-bin/koha/admin/authorised_values.pl]).		** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [http://194.44.143.106:8080/cgi-bin/koha/admin/itemtypes.pl]), підрозділи розміщення (995b, 995c, [http://194.44.143.106:8080/cgi-bin/koha/admin/branches.pl]), види (ccode, 995h [http://194.44.143.106:8080/cgi-bin/koha/admin/authorised_values.pl]), можливо ще інші авторитетні значення ([http://194.44.143.106:8080/cgi-bin/koha/admin/authorised_values.pl]).
	** обов’язкові поля/підполя:		** обов’язкові поля/підполя:
	*** 942c — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)		*** 942c, 995r — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)
			*** 995c — код підрозділу розміщення (усі підрозділи/бібліотеки повинні бути попередньо створені в Коха: Домівка › Керування › Бібліотеки та групи)
	* MARC21		* MARC21
	** деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)		** деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)

Dubyk: /* Підготовка бібліографічних записів */

2017-12-06T11:36:57Z

Підготовка бібліографічних записів

Нова сторінка

== Підготовка бібліографічних записів ==
Koha підтримує імпорт біб-записів у двох форматах
* 1) текстовий xml-формат [http://www.loc.gov/standards/marcxml/ MARCXML] (краще, легко редагується)
* 2) бінарний формат за ISO2709 (розширення різні бувають, напр. *.iso, *.mrc, *.ldb)

Шукаємо у АБІС з якої мігруємо експорт у ці формати. Вибираємо варіант експорту з примірниками.
Інколи файл завеликий для обробки, тоді експортуємо частинами.
За можливості вибираємо кодування UTF8.
Машиночитний MARC-формат:
* UNIMARC (похідні УКРМАРК, РУСМАРК; більш поширений у СНГ та Європі; курує IFLA),
* MARC21 (більш поширений у всьому світі загалом; курує Бібліотека Конгресу).

Українізація АБІС Koha більш пророблена для UNIMARC (додаткові структури біб-записів, більша протестованість по Україні) однак український переклад для MARC21 також є і Koha загалом добре працює з обидвома форматами.

Якщо немає експорту в один зі згаданих форматів (1 чи 2), експортуємо в наявні формати чи робимо експорт в CSV з бази даних АБІС. Далі користуємось [[MARC-інструменти|МАРК-інструментами]] чи іншими засобами для отримання marcxml-файлів.

Експортовані з АБІС бібліографічні marcxml-файли необхідно підкоректувати для імпорту в Koha:
* кодування utf8
* UNIMARC
** деякі поля з діапазону поза UNIMARC (9XX-ті) необхідно підігнати під відповідні у Koha (942,995), див. ще це [http://194.44.143.106:8080/cgi-bin/koha/admin/koha2marclinks.pl]
** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (942c, [http://194.44.143.106:8080/cgi-bin/koha/admin/itemtypes.pl]), підрозділи розміщення (995b, 995c, [http://194.44.143.106:8080/cgi-bin/koha/admin/branches.pl]), види (ccode, 995h [http://194.44.143.106:8080/cgi-bin/koha/admin/authorised_values.pl]), можливо ще інші авторитетні значення ([http://194.44.143.106:8080/cgi-bin/koha/admin/authorised_values.pl]).
** обов’язкові поля/підполя:
*** 942c — код типу одиниць (усі типи одиниць повинні бути попередньо створені в Коха: Домівка › Керування › Керування типами одиниць)
* MARC21
** деякі поля з діапазону поза MARC21 (9XX-ті) необхідно підігнати під відповідні у Koha (942, 952)
** для полів-значень списків необхідно перетворити з попередньої АБІС чи створити відповідні списки в Коха, це типи одиниць (…уточнити…), підрозділи розміщення (…уточнити…), види (…уточнити…), можливо ще інші авторитетні значення (…уточнити…).

Для коректування полів/підполів можна скористатися [[MARC-інструменти|МАРК-інструментами]], дещо некритичне можна потім пакетно поредагувати у Koha.

== Авторитетні файли ==
Koha підтримує авторитетні джерела (чи файли), див. напр. [http://194.44.143.106:8080/cgi-bin/koha/admin/authtypes.pl].
Про їх міграцію буде пізніше…

== Читацькі дані ==

Щодо міграції читачів див. тут [http://194.44.143.106:8080/cgi-bin/koha/tools/import_borrowers.pl], там є приклад CSV-файлу з Koha-полями та будь-якими додатковими атрибутами.
Потрібно звернути увагу на правильні дати та категорії читачів ([http://194.44.143.106:8080/cgi-bin/koha/admin/categories.pl]).

== Тривалі дії у веб-інтерфейсі Koha ==
Деякі операції:
* імпорт sql-таблиць при встановленні
* пакетний імпорт читачів через веб-інтерфейс Koha
* пакетний імпорт біб-записів через веб-інтерфейс Koha
* тощо
вимагають тривалого очікування від веб-сервера.
Цей проміжок зазвичай обмежений у веб-сервері Apache (5 хв.).
Спробуйте в налаштуваннях Apache (/etc/apache2/apache2.conf) виставити більший час (Timeout 600 (секунди), для великих імпортів цей термін може бути збільшений до багатьох годин).

Після зміни часу очікування перезапустіть Apache:
sudo /etc/init.d/apache2 restart

== Імпорт marcxml-файлу через веб-інтерфейс ==

http://my_koha_intranet/cgi-bin/koha/tools/stage-marc-import.pl

Примітка: немає виводу помилок імпорту. Підходить лише для вивірених marcxml-файлів.

== Імпорт marcxml-файлу з терміналу ==

Маємо бібліографічний marcxml-файл у форматі MARC21

sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=MARC21 -m=MARCXML -file=1511_utf8_prepared.xml > log.txt

Або маємо бібліографічний marcxml-файл у форматі UNIMARC

sudo env KOHA_CONF=/etc/koha/sites/chl/koha-conf.xml PERL5LIB=/usr/share/koha/lib perl -I /usr/share/koha/lib /usr/share/koha/bin/migration_tools/bulkmarcimport.pl -b -c=UNIMARC -m=MARCXML -file=1511_utf8_prepared.xml > log.txt

Запуск переіндексації:

koha-restart-zebra chl
koha-rebuild-zebra -b -f chl

Примітка: замінити chl на власний екземпляр встановлення АБІС Koha.

== Див. також ==
* [[MARC-інструменти]]
* [[Бібліотечні стандарти]]
* [[Міграція з ІРБІС на Koha]]
* [[Міграція з УФД/Бібліотека на Koha]]
* [[Міграція з LiberMedia на Koha]]
* [[Міграція з MarcSQL на Koha]]
* [[Міграція з Aleph на Koha]]
* [[Міграція з ISIS на Koha]]
* [[Бібліотеки, що тестують чи мігрують на АБІС Koha]]

== Корисні посилання ==
* [https://wiki.koha-community.org/wiki/Import_MARC_to_Koha Import MARC to Koha] (Koha Wiki)
* [https://wiki.koha-community.org/wiki/Migration_from_ISIS_to_Koha Migration from ISIS to Koha] (Koha Wiki)
* [https://wiki.koha-community.org/wiki/Migration_from_Millennium_iii_to_Koha Migration from Millennium iii to Koha] (Koha Wiki)
* [https://wiki.koha-community.org/wiki/Migration_from_Librarians_Edge_to_Koha Migration from Librarians Edge to Koha] (Koha Wiki)

Dubyk: /* Тривалі дії у веб-інтерфейсі Koha */

2017-02-17T08:41:45Z

Тривалі дії у веб-інтерфейсі Koha

← Попередня версія		Версія за 11:41, 17 лютого 2017
Рядок 8:		Рядок 8:
	Цей проміжок зазвичай обмежений у веб-сервері Apache (5 хв.).		Цей проміжок зазвичай обмежений у веб-сервері Apache (5 хв.).
	Спробуйте в налаштуваннях Apache (/etc/apache2/apache2.conf) виставити більший час (Timeout 600 (секунди), для великих імпортів цей термін може бути збільшений до багатьох годин).		Спробуйте в налаштуваннях Apache (/etc/apache2/apache2.conf) виставити більший час (Timeout 600 (секунди), для великих імпортів цей термін може бути збільшений до багатьох годин).

			Після зміни часу очікування перезапустіть Apache:
			sudo /etc/init.d/apache2 restart

	== Імпорт marcxml-файлу через веб-інтерфейс ==		== Імпорт marcxml-файлу через веб-інтерфейс ==