Необходимая нам помощь. Оцифровка\индексация документов

[Kaaskop]

Нам постоянно требуется помощь в оцифровке различных архивных документов.
Если Вы хотите помочь по конкретному обращению Администратора нашего форума, оставьте заявку в новом посте данной темы.

Вы также можете помочь, оцифровав списки, сканы или копии которых выложены на форуме.
Выберите любой документ из левой колонки Сводки, у которого в строке

есть смайлик с приглашением

или не обозначена дата начала оцифровки и перейдите по ссылке в пост с первоисточником (удобней всего открыть ссылку в новой вкладке, чтобы здесь читать инструкцию, а в теме со сканом ее применять).
Итак, перейдя в пост со сканом:
1) проверьте, нет ли в этом посте отметок

#processed

или

#inprocessing

, означающих, что вложения уже обработаны или обрабатываются другим волонтером.
2) скопируйте название выбранного Вами документа в поле быстрого ответа темы, в которой Вы находитесь, ниже добавьте пояснение (например, "взято на оцифровку") и отправьте этот пост-заготовку.
3) Нажмите на обращение к модератору (иконка с восклицательным знаком), напишите в обращении тоже пару слов (например, "координатору оцифровки"), отправьте обращение. Вы можете заниматься самой оцифровкой столько времени, сколько Вам потребуется.
4) Используйте, пожалуйста, для ввода оцифрованных данных шаблон, размещенный внизу под Сводкой (ссылка для скачивания). Это поможет в дальнейшем систематизировать данные для создания индекса фамилий. Вопросы по шаблону можете задать в профильной теме.
5) Когда закончите, отредактируйте свой пост-заготовку: вложите результат оцифровки в виде таблицы Excel, а в сам пост вставьте список оцифрованных фамилий из Вашей таблицы и кликните по "!", чтобы модератор завершил цикл оцифровки.
Если возникнут вопросы или потребуется помощь модератора - обращайтесь любым удобным для Вас способом.

Сводка по состоянию оцифровки списков.

[Dr-Shaman]

Судя по заголовку, там нужно индексировать на иврите.

Почему? Вот например на русском предлагали:
https://csindexing.com/projectinformation.php?p=356

[napobo3]

Рассматривался ли это вариант здесь ?

Судя по заголовку, там нужно индексировать на иврите.

Да хоть на суахили.
Наверное я не вовремя, тут такие страсти кипят...

[oztech]

тут такие страсти кипят...

Страсти? Где Вы их увидели? Лучше Вы поясните свой вброс:

Израильская ассоциация генеалогических исследований (IGRA) активно и продуктивно использует этот сайт для координации коллективных проектов по оцифровке.
Рассматривался ли это вариант здесь ?

О каком варианте речь? Присоединиться? Использовать их систему у себя? Тогда поясните, в чем ее суть, если Вы разобрались. Почему Вы считаете, что их система продуктивна? Как выглядит их продукция? Мне самому до сих пор не приходилось ей воспользоваться, что, конечно же, ничего не значит, но на форуме, если и мелькают упоминания о пользе обращения к материалам, оцифрованным IGRA, то так редко, что и не припомнить. В общем, все, кто постоянно занимаются оцифровкой, готовы с удовольствием перенимать чужой опыт. Только растолкуйте, раз Вы в него вникли.
Да, у нас есть проблемы, которые шлейфом тянутся много лет, Шамиль снова о них вспомнил, почему - понятно, хотя цитат и нет. В IGRA их решили? Все ли материалы от оцифровщиков выходят в удобном для употребления виде?

[Dr-Shaman]

Я в их системе не работал, но примерно представляю как это работает, т.к. оцифровывал что-то для мормонов.
Сначала администратор проекта заливает куда-то изображения и отмечает какого типа эти изображения. Тут сразу вопрос - кто потом имеет доступ к изображениям, кто имеет доступ/права на полученный результат?
Это может быть список, записи о рождении/браке и т.п.
для каждого типа изображений, есть созданный заранее шаблон оцифровки.
вы работаете в браузере/спец программе. вам показывают на 1 экране картинку и под ней таблица которую надо заполнить. пока на заполнишь все поля, к след картинке нельзя перейти.
но можно запросить новую, или указать, что на этой картинке проблемы. Тогда они заменяются на новые, и вы их больше не увидите. Т.е. если у нас есть 5 некачесвтенных листов, и каждый из 5 оцифровщиков желая сделать больше но на качественных фото, запросит следующий файл, в надежде получить более четкую картинку, то проект застопорится, т.к. каждый откажется от 5 размытых фото, и пока не появится 6 человек все будут бездействовать, т.к. 2 раза 1 картинку не присылают.
Не знаю, как в ИГРА, но у мормонов каждый файл индексируется 2 раза. Если 2 разных человека написали одинаково, то значит все ок, и этот лист индексирован. если есть разночтения, то направляют 3 человеку (обычно, это кто-то более опытный) и показывают ему 2 варианта которые написали люди. а он выбирает правильный или вносит свой 3 вариант. Мормоны индексируют все это по религиозным причинам, и их много. Кроме того, многие их базы требуют оплаты за использование, например Ancestry. А у нас на форуме зарегистрированных пользователей меньше, чем индексаторов у мормонов,а индексаторов и того меньше.

Такие системы на выходе дают правильно структурированные данные, готовые для импорта в БД. Из минусов, скорость падает. т.к. каждый файл 2 раза делается, и там где можно было бы указать только фамилию, надо вписывать еще и например, год, город, "нет имени", "нет отчества", "еврей" и т.п. в зависимости от того, какие есть поля в базе...

я считаю, что у нас мало людей, я сам хочу помочь, но никак не успеваю. не думаю, что все остальные сидят, плюют в потолок и думают куда бы деть свободное время... Поэтому хоть такая система и дает более качественный результат, не уверен, что она нам подходит. ну и интерфейс там английский, что возможно кого-то отпугнет.

[oztech]

вы работаете в браузере/спец программе. вам показывают на 1 экране картинку и под ней таблица которую надо заполнить. пока на заполнишь все поля, к след картинке нельзя перейти.

Интересно, что я, не имея спецпрограммы, сам пришел к тому же, комбинируя оцифровываемую картинку со свернутым Excel или Блокнотом при наложении двух одновременно открытых окон. Ну, если кто-то, владеющий навыками программирования, создаст компактную программку, позволяющую делать то же самое, это конечно сразу отрежет кучу вопросов. Прежде всего исчезнет держащаяся на каких-то предрассудках или недоразумениях стена:

мне как пользователю архивных дел лучше всего получить информацию вида - Фамилия - страница - номер записи, но я понимаю, что не всегда это можно сделать.

Имея перед глазами встроенный шаблон, можно будет ВСЕГДА представить информацию в лучшем (для определенных целей, конечно) виде. Что касается запретов на переходы к следующей картинке, то это уже лишнее в нашем случае. Какой смысл волонтеру накручивать объем работы, не заботясь о ее качестве? У нас же не платят по таксе за листаж. В общем, если описанный Шамилем браузер не является чем-то общедоступным, так и хочется бросить клич: а нет ли у нас на форуме энтузиастов-программистов, способных создать удобную для оцифровщиков программку по описанным выше принципам? Детали ТЗ можно обсудить. Что касается координации, то описанный Шамилем механизм, как мне кажется, не идеален и даже в оптимальности его есть сомнения. Но такие вещи всегда нужно отрабатывать на практике, тестирование любой системы - лучший оптимизатор.

я сам хочу помочь, но никак не успеваю. не думаю, что все остальные сидят, плюют в потолок и думают куда бы деть свободное время...

Коллеги, это правда? Я обращаюсь не только к Шамилю, но и ко всем, заглянувшим в эту тему? Оставляйте здесь свои заявки. Пишите, материалы по каким географическим районам вам самим интересны, чтобы совместить приятное с полезным. Особенно это касается, конечно же, Украины, где, благодаря колоссальной работе Алекса Краковского, появилось масса доступных он-лайн документов. Скорей всего, мы сможем подобрать именно такие документы, которые наиболее интересны большой массе занятых генеалогическими поисками.

[hana-riva]

И на счет списков, если кто-то совсем не может делать это в экселе/разделителях и т.п. Лучше писать в таком случае так, чем делать список по алфавиту. Да и перевести в формат таблицы это намного проще, чем алфавитный список.

Простите, Dr-Shaman, а Вы не могли бы уточнить, о чем тут речь? Обычно простой алфавитный список идет в дополнение ко вложенной таблице, потому что поиск по сайту вложения читать не умеет. В базу эти данные неизвестно когда попадут, если вообще попадут, а поиск по сайту эти фамилии выдает тут же после публикации, а детали можно и в таблице посмотреть.
Или Вы о чем-то другом говорите?

[hana-riva]

Коллеги, это правда? Я обращаюсь не только к Шамилю, но и ко всем, заглянувшим в эту тему? Оставляйте здесь свои заявки. Пишите, материалы по каким географическим районам вам самим интересны, чтобы совместить приятное с полезным. Особенно это касается, конечно же, Украины, где, благодаря колоссальной работе Алекса Краковского, появилось масса доступных он-лайн документов. Скорей всего, мы сможем подобрать именно такие документы, которые наиболее интересны большой массе занятых генеалогическими поисками.

Да, это правда. Что и хочется побольше делать, и времени/сил не хватает. Но все равно хочется. Особенно если б что по Очакову на стыке 19 и 20 века

[Dr-Shaman]

Простите, Dr-Shaman, а Вы не могли бы уточнить, о чем тут речь? Обычно простой алфавитный список идет в дополнение ко вложенной таблице, потому что поиск по сайту вложения читать не умеет. В базу эти данные неизвестно когда попадут, если вообще попадут, а поиск по сайту эти фамилии выдает тут же после публикации, а детали можно и в таблице посмотреть. Или Вы о чем-то другом говорите?

Я писал в общем, а не о каких-то отдельных людях. Если вы даете таблицу + список, то это отлично. А если кто-то дает только список, то лучше давать его не по алфавиту, а вразброс, но с указанием страниц.

[leaz]

Оставляйте здесь свои заявки. Пишите, материалы по каким географическим районам вам самим интересны, чтобы совместить приятное с полезным.

Добрый день! Я готов по мере сил принять участие в оцифровке. Наиболее интересны материалы любого периода по Могилевской губернии, XX век - Витебск, Курск, Конотоп, Оренбург, Златоуст.

[oztech]

по Могилевской губернии

А Вы заглядывали в Сводку? Если действительно что-то для себя выберите, то напишите в личку, есть смысл обсудить детали, потому что работа в летаргическом сне, могли измениться обстоятельства. И взгляды на целесообразность - тоже.

[hana-riva]

Еще раз мои 5 копеек в дискуссию о "стратегии" и "тактике". ИМХО, Dr-Shaman выше все правильно написал. Хочу только вот что добавить: есть "организованные" оцифровки, и есть "дикие". А поскольку я принадлежу и к организованным, и к дикарям, то из опыта могу сказать, что это две большие разницы, и цели разные, и соответственно разный подход к работе. (дальше длинно, поэтому под катом)

► Показать

Организованные работают на базу, ну или на какой-то конкретный проект. В моем случае это оцифровка одесских алфавитов под чутким Юлиным руководством. То есть Юлия говорит нам, что и как делать, какие графы должны быть в таблицах и т.п. (к формату она, к счастью, не придирается ). Был момент, когда я что-то сочла неправильным, мы это обсудили, она настояла на своем - и я делаю, как она сказала, хоть у меня на это уходит больше времени, так как чтобы совместить мое "правильно" с ее требованием, приходится писать комментарии. Но все же делаю как велено, потому что здесь я часть общего проекта, а в здоровом общем проекте нужно следовать общим требованиям. Поэтому я считаю, что хорошо и правильно, что существуют стандарты и шаблоны для тех, кто работает на базу. Не нравится - не участвуй. И здесь важно, чтобы волонтер изначально был в контакте с человеком, который этим проектом руководит.
В другие моменты я отношусь к "дикарям". Например, сидишь себе листаешь что-нибудь у мормонов, и вдруг думаешь: все равно каждый кадр открывать, так может заодно повыписывать коротенько данные, ведь наверняка еще кто-нибудь ищет? Файлы-то доступны, только трудно ж искать черную кошку в темной комнате, а так всего один-два кадра по номеру открыл, а там уж сам смотри, твой это Абрамович или не твой. Или уже по списку сразу увидел, что это вообще не твой год. Да, я на это потрачу раза в 4 больше времени, чем если просто для себя глазами пробежать, но это окупается тем, что уйма времени сэкономлено другим. И мне не важно, попадет это когда-нибудь в базу или нет, я просто хочу здесь и сейчас помочь реальным людям, которые так же как я гробят уйму времени и сил на бесплодные поиски. И судя по количеству скачиваний и благодарностей, это таки кому-то помогает. Однако если от меня в таком контексте начнут требовать полной оцифровки в соответствии со всеми стандартами, шаблонами и форматами, то я, извините, просто не смогу этого делать вообще, потому что это потребует уже не в 4, а в 10 раз больше времени и сил, которых у меня нет. Иными словами, если приходится выбирать между журавлем в небе (идеальной базой данных, которая когда-нибудь будет) и синицей в руки (как можно больше информации в любом виде здесь и сейчас), я как пользователь выбираю синицу, и с большой вероятностью полагаю, что таких "синичников" тут немало. Хотя, конечно, и от журавля никто бы не отказался.
Из всего вышесказанного, хотелось бы - уж простите за наглость - дать два совета координаторам баз и оцифровок:
1. Чем ломать копья, подумайте, как привлечь волонтеров в организованные проекты для базы данных. А "дикарей" оставьте в покое, пусть делают что делают - для простых пользователей это лучше, чем ничего. Ну на худой конец просто не обращайте внимания, ну неужели вам и впрямь так уж сильно мешает, что кто-то где-то что-то выложил?
2. А может, стоило бы поискать среди форумчан людей продвинутых в информатике, которые могли бы - когда это возможно - подгонять разноперые "дикие" выкладки под общий знаменатель для базы? Типа переформатировать таблицу, переставить в нужном порядке столбцы и что там еще причесать? Хотя, конечно, если речь о серьезной базе, оцифровки надо бы если не дублировать, как мормоны, то по крайней мере тщательно вычитывать, сверяя с оригиналом...

[oztech]

есть "организованные" оцифровки, и есть "дикие". А поскольку я принадлежу и к организованным, и к дикарям, то из опыта могу сказать, что это две большие разницы, и цели разные, и соответственно разный подход к работе.

Хана, на самом деле с целью не совсем так, цель у всех общая: сделать изученные одним пользователем материалы более удобными для работы других. Идет ли речь об отдельном документе или целом их собрании в виде БД - не принципиально.
Хорошо, есть такой посыл:

сидишь себе листаешь что-нибудь у мормонов, и вдруг думаешь: все равно каждый кадр открывать, так может заодно повыписывать коротенько данные, ведь наверняка еще кто-нибудь ищет? ... Да, я на это потрачу раза в 4 больше времени, чем если просто для себя глазами пробежать, но это окупается тем, что уйма времени сэкономлено другим. И мне не важно, попадет это когда-нибудь в базу или нет

Хана, пока ход Ваших мыслей не вызывает никаких возражений по существу, но дальше ...

Однако если от меня в таком контексте начнут требовать полной оцифровки в соответствии со всеми стандартами, шаблонами и форматами, то я, извините, просто не смогу этого делать вообще, потому что это потребует уже не в 4, а в 10 раз больше времени и сил, которых у меня нет.

Во-первых, о полной оцифровке документов, становящихся доступными для просмотра он-лайн, речь почти никогда не заходит. Зачем это делать? То, что произошло с доступом к мормонскому сайту из России, это форс-мажорная ситуация. Закладываться на то, что с любым выложенным в Интернете документом может в любой момент произойти то же самое, и поэтому нужно целиком и полностью оцифровывать все генеалогическое, а также историческое и просто интересное, что только мелькает, - это очевидный перегиб. Понятно, что это просто нереально, никаким волонтерам это не под силу. Чаще всего мы просим делать индексы, в расчете на то, что пользоваться документом, снабженным таким дополнительным индексом, станет намного проще и удобней. И именно такие индексы планируется объединять в БД. А для борьбы с потенциальной угрозой, что кто-то сначала откроет доступ к документам, а потом его закроет, нужно действовать иначе - сохранять эти документы на разных компьютерах, в облаках, и это уже отличная от оцифровки задача.
Во-вторых, любой добровольный оцифровщик понимает, что берет на себя дополнительную нагрузку, и все, кто заинтересован в составлении индексов, это тоже понимают, поэтому шаблоны составляются так, чтобы МИНИМИЗИРОВАТЬ дополнительные затраты. Да, для оцифровки описей разработан весьма пространный шаблон, а для составления фамильного индекса достаточно лишь самой фамилии и точного адреса ее местонахождения в деле, т.е. номера записи и номера страницы или кадра. Честно скажу, я не понимаю тех, кому не лень выписать фамилии, а добавить к ним еще пару-тройку цифр - это уже такая колоссальная переработка, на которую не хватает времени и сил. Тут, по-моему, какое-то явное недоразумение. Ну, и совсем не могу понять тех, кому наплевать на свое же потраченное время. Раз вы все равно его тратите, так, почему бы ни воспользоваться шаблоном-то? Не нравится Excel с готовыми ячейками, которые только остается заполнять, пишите в любом текстовом редакторе, только в конце каждого повторяющегося фрагмента ставьте одинаковый разделитель.
Почему на любую критику нужно сразу вставать в позу: или берите, что дают - или вообще ничего не будем делать? Вот, Вы пишете:

А "дикарей" оставьте в покое, пусть делают что делают - для простых пользователей это лучше, чем ничего.

А чем лучше-то? Может, стоит задуматься, для чего вообще потребовалась оцифровка, если в Сети есть доступная картинка? Ну, и про исправление чужих косяков я повторяться не буду. Нет смысла в работе, если на ее доводку требуется слишком много времени. Тогда уж проще начинать с нуля.

[hana-riva]

Честно скажу, я не понимаю тех, кому не лень выписать фамилии, а добавить к ним еще пару-тройку цифр - это уже такая колоссальная переработка, на которую не хватает времени и сил. Тут, по-моему, какое-то явное недоразумение.

Если это в мой адрес, то я, простите, не понимаю, о чем тут речь. Если мне не изменяет память, просто фамилии без координат я выписывала только в случае со списками избирателей, которые лежат в открытом доступе в сети и сами по себе уже составлены по алфавиту, так что найти в них нужную фамилию проще простого. И делались те выписки просто для того, чтобы поиск по сайту эти фамилии видел.

Ну, и совсем не могу понять тех, кому наплевать на свое же потраченное время. Раз вы все равно его тратите, так, почему бы ни воспользоваться шаблоном-то?

Я уже объясняла, что на шаблон требуется гораздо больше времени. Возможно, это индивидуально. В любом случае, я могу только за себя говорить.

Почему на любую критику нужно сразу вставать в позу: или берите, что дают - или вообще ничего не будем делать? Вот, Вы пишете:
hana-riva писал(а): ↑Вчера, 02:25
А "дикарей" оставьте в покое, пусть делают что делают - для простых пользователей это лучше, чем ничего.

Простите, Григорий, но тут Ваша интерпретация в корне неверна. Нет тут никаких поз, и не "берите, что дают", а "не запрещайте людям делиться друг с другом чем могут, даже если это сейчас не соответствует шаблону". Это в основном реакция на

Лучше сделать меньше, но правильно и по шаблону.

Для составителей базы данных - да, лучше меньше, но правильно. А для простых ищущих и жаждущих форумчан - часто чем больше, тем лучше, хоть в каком виде. Если что-то не подходит Вам, еще не значит, что это не нужно никому вообще. У разных людей разные потребности, и одно не исключает другого, имхо.

Может, стоит задуматься, для чего вообще потребовалась оцифровка, если в Сети есть доступная картинка?

Хотя бы для того, чтобы заинтересованный исследователь увидел, где именно эту картинку искать.

Нет смысла в работе, если на ее доводку требуется слишком много времени. Тогда уж проще начинать с нуля.

Так никто ж не возбраняет Мне кажется очевидным, что человек, выкладывающий что-либо, что не подогнано под стандарт, не претендует на то, чтобы его таблицы/индексы/списки были включены в базу данных или еще что-нибудь в этом духе. Он просто делится информацией с теми, кому она может быть интересна, не более того. Что ж в том плохого?

[oztech]

hana-riva, в принципе, я развернуто ответил по всем пунктам в личку. Хочу только напомнить, что мы находимся в теме "Необходимая нам помощь..." Эта помощь, в частности, требуется для систематизации сведений, выкладываемых на форуме, для облегчения пользования нашими ресурсами. Шаблоны разрабатываются и с учетом этих моментов (а не только под будущие БД), и для помощи оцифровщикам. Понятно, что каждый волен делать для себя, что ему заблагорассудится: хочет - делает полную оцифровку, хочет - индекс, хочет - может придумать еще что-нибудь. Никто никому и ничего не запрещает. А странность ситуации в другом. По существу, есть заказчик и исполнитель, пусть и не связанные финансовыми обязательствами. Заказчик просит делать для него одну работу, а исполнитель делает другую - для себя. Это важно: похожую, но другую! Что получается после оцифровки, которую невозможно учесть и использовать? Был скан одного документа - появилась его дополнительная цифровая копия. К плюсам и минусам одного документам добавились плюсы и минусы другого. Конечно, и это какое-то решение, только далекое от эффективного, куча усилий пущена на ветер. При том, что так и не прозвучало серьезных доводов, почему нельзя было поискать консенсус, сделать именно то, о чем просят, потратив ровно столько же усилий?

[hana-riva]

Хочу только напомнить, что мы находимся в теме "Необходимая нам помощь..." [...] По существу, есть заказчик и исполнитель,

Григорий, с этим никто и не спорит, когда речь идет о том, что я назвала "организованными" проектами. А в данном случае копья ломаются об файлы, которые были выложены не в этой теме, а в темах по соответствующим городам, и которые, собственно, никто конкретно НЕ ЗАКАЗЫВАЛ, выкладки были сделаны исключительно по личной инициативе (а сканы находятся на посторонних сайтах). Однако я рада, что Вы, кажется, наконец-то согласны, что это две разные вещи, требующие разного подхода. Спасибо.

[hana-riva]

На свежую голову возникло одно конструктивное предложение: а что если в данной теме изменить верхний пост, и написать в нем что-то в таком духе:
"Нам постоянно требуется помощь в оцифровке различных архивных документов.
Если Вы хотите помочь, отправьте личное сообщение Координатору N, и он/а объяснит Вам, что и как делать."
И в ответ человек получал бы лично от Координатора сообщение типа: вот вам документ для оцифровки, вот шаблон для этого конкретного документа, и вот инструкция, что куда и как вносить. Причем в инструкцию стоило бы добавить, для особо "продвинутых" динозавров из прошлого века, чисто технические детали из серии чего делать нельзя/не надо, как, например, мне сегодня Григорий объяснил про абзацы и разрывы строк.
Преимущества: получив лично ему присланные ЦУ, волонтер их скорее всего прочитает, а если чего не поймет, то ему будет, кого напрямую спросить. А координатор будет в курсе, кто над чем работает, и сможет даже справиться, как идут дела, если вдруг от кого уж слишком долго ни слуху ни духу.
Это, конечно, не исключит (и не уменьшит) "диких" публикаций в вольном формате, но хотя бы в "организованных" проектах будет больше ясности и порядка

[napobo3]

Не уверен, что мой опыт пригодится сообществу... я освоил организацию проектов по индексации на сайте https://csindexing.com/ и могу помочь желающим завести там проект.
Сайт сделан профессионально и у меня есть канал связи с разработчиком.

[Файнгольд Татьяна]

Не уверен, что мой опыт пригодится сообществу... я освоил организацию проектов по индексации на сайте https://csindexing.com/ и могу помочь желающим завести там проект.
Сайт сделан профессионально и у меня есть канал связи с разработчиком.

Обьясните, пожалуйста, подробно:
- что и как можно делать с помощью этого сайта
- сколько это стоит

[napobo3]

Загружать файлы сканов документов.
Определять шаблон - какие поля хотим индексировать.
Индексировать коллективно - каждому участнику показывают следующий свободный скан.
Админ может просматривать результаты и возвращать неудачные страницы обратно в очередь.
и т.д.
Цена: 0

[oztech]

Индексировать коллективно

Все хорошо, дело только за малым - нужен этот самый коллектив... На самом деле, конечно, еще много чего нужно предшествующего обращению к замечательному вспомогательному сервису.