Пилот: Захаров 1875 — автоматический разбор (обзор v3)
Офлайн-просмотрщик: статический HTML на диске, без интернета и внешних библиотек. Ничего не опубликовано. Все слои — статус «авто», проверки человеком не было. Прежний обзор (v2, 144 стр.) — index.html, не менялся.
Демо-страницы
| печ. | статей | без флагов | согласны | вырезок письма (привяз.) | прочитано письмо | заметка | |
|---|---|---|---|---|---|---|---|
| p104 | 2 | 26 | — | — | 2 | 2 | эталон (черновик) рядом, CER по статьям |
| p105 | 3 | 28 | 2 | 7 | 2 (2) | 2 | серая вставка; 2 вырезки письма прочитаны (GPU, 27.10) |
| p134 | 32 | 37 | 10 | 26 | 9 (8) | ждёт GPU | лучшая для раздела А (топ-1 v3) |
| p144 | 42 | 38 | 7 | 22 | 14 (14) | ждёт GPU | раздел А, топ-2 v3 |
| p225 | 123 | 25 | 0 | 8 | 13 (13) | ждёт GPU | hx3 исправил разметку (45→25 статей) |
| p401 | 299 | 31 | 0 | 8 | 15 (15) | ждёт GPU | раздел Г, рядом эталон p400 |
| p639 | 537 | 34 | 5 | 23 | 11 (11) | ждёт GPU | лучшая Б/П |
| p679 | 577 | 41 | 10 | 25 | 8 (8) | ждёт GPU | лучшая С |
| p879 | 777 | 32 | 6 | 13 | 14 (14) | ждёт GPU | раздел Д (в v3 лучшая Д — p904) |
Числа — по SUMMARY v3 («без флагов» — определение SUMMARY). Страницы pN.html собраны раньше (build_viewer.py) и не перестраивались.
Итоги проекта (SUMMARY-2026-10-28.v3, 306 стр.)
| страниц в пилоте | 306 |
| статей (из них главных) | 9064 (3936) |
| строк текста | 27728 |
| строк с флагами | 17677 (63.8 %) |
| строк с низкой уверенностью (conf<75) | 16467 (59.4 %) |
| строк из серых вставок 150 ppi | 625 |
| статей без флагов | 779 (8.6 %) |
| статей, где оба метода OCR согласны | 3913 (43.2 %) |
| вырезок маньчжурского письма (привязано к статьям) | 2546 (2483) — все ждут GPU |
| чистых заголовков → латиница v2 (изменено против v1) | 8519 (1499) |
Источник: rossica/pilot/SUMMARY-2026-10-28.v3.stats.json, SUMMARY-2026-10-28.v3.md. Для p692/695/698/891/892 взят слой hx5.
По разделам
| раздел (PDF) | стр. | статей | без флагов | вырезок (привяз.) | лучшие |
|---|---|---|---|---|---|
| А (103–159) | 37 | 1123 | 133 (11.8 %) | 253 (248) | p134, p144 |
| Э (164–189) | 6 | 198 | 19 (9.6 %) | 40 (39) | p189, p184 |
| И (194–220) | 13 | 367 | 38 (10.4 %) | 117 (114) | p213, p218 |
| О (221–237) | 16 | 462 | 43 (9.3 %) | 159 (157) | p232, p236 |
| У (239–269) | 4 | 113 | 10 (8.8 %) | 21 (19) | p249, p259 |
| Я / Ѣ / Ю / І (279–307) | 20 | 553 | 44 (8.0 %) | 157 (153) | p294, p307 |
| Н (308–349) | 9 | 293 | 30 (10.2 %) | 68 (66) | p309, p329 |
| К (359–399) | 15 | 477 | 43 (9.0 %) | 143 (141) | p388, p393 |
| Г (401–469) | 17 | 546 | 39 (7.1 %) | 165 (162) | p410, p449 |
| Х (479–559) | 28 | 821 | 85 (10.4 %) | 226 (214) | p520, p522 |
| Б / П (569–649) | 9 | 288 | 34 (11.8 %) | 76 (74) | p639, p599 |
| С (659–749) | 29 | 770 | 82 (10.6 %) | 243 (237) | p679, p705 |
| Ш (759–789) | 4 | 123 | 10 (8.1 %) | 37 (35) | p769, p789 |
| Т (799–869) | 8 | 204 | 14 (6.9 %) | 49 (48) | p849, p799 |
| Д (879–939) | 27 | 835 | 63 (7.5 %) | 223 (218) | p904, p879 |
| Л (949–959) | 2 | 75 | 3 (4.0 %) | 25 (25) | p949, p959 |
| М (969–1019) | 6 | 157 | 12 (7.6 %) | 55 (53) | p1019, p999 |
| Ч / ЧЖ (1029–1119) | 29 | 887 | 41 (4.6 %) | 255 (253) | p1049, p1071 |
| Ф (1129–1199) | 27 | 772 | 36 (4.7 %) | 234 (227) | p1161, p1139 |
Исправление разметки hx5 (28.10, блок 13)
Граница столбцов на перекошенных страницах бралась по левому краю текста правого столбца. Новая копия seg_pilot_hx5.py (оригиналы не менялись) отбрасывает такую «линейку», ищет штрих/просвет у середины и учитывает наклон; на 9 эталонах результат = hx3. Подробно: CALIBRATION-hx5.md.
| стр. | изменение |
|---|---|
| p692 | rule 2206→1843, 35→33, вырезок 7→12 |
| p695 | R head 2022→1902, 55→21 (R не раздроблен) |
| p698 | rule 2208→1843, 21→28, вырезок 2→8 |
| p891 | контроль: 22→20, 8→8 |
| p892 | rule 2180→1841, 24→26, вырезок 5→10 |
GPU-очередь
2546 вырезок (299 страниц), первая — p106. Маньчжурский OCR не запускался: LM Studio открыт.
Сравнение кириллического OCR (p104 против чернового эталона)
| метод | line CER | line CER folded | entry CER | line WER | точных строк | ѣ сохранено | конечный ъ | сек/стр |
|---|---|---|---|---|---|---|---|---|
| tess-orus-s1 | 0.034 | 0.034 | 0.0355 | 0.1607 | 45/92 | 25/33 | 55/62 | 2.57 |
| tess-orus-s0.5 | 0.036 | 0.0361 | 0.0367 | 0.1674 | 44/92 | 23/33 | 54/62 | 2.31 |
| tess-Cyrillic-s0.5 | 0.0554 | 0.0535 | 0.0552 | 0.2277 | 25/92 | 0/33 | 50/62 | 1.95 |
| tess-Cyrillic-s1 | 0.0586 | 0.0581 | 0.0584 | 0.2321 | 28/92 | 0/33 | 49/62 | 2.18 |
| surya-0.17.1-cpu | 0.0631 | 0.0618 | 0.0639 | 0.2277 | 29/92 | 0/33 | 48/62 | 109.59 |
| tess-rus-s0.5 | 0.0715 | 0.0701 | 0.0714 | 0.2656 | 23/92 | 0/33 | 49/62 | 2.39 |
| tess-rus-s1 | 0.0825 | 0.0805 | 0.0828 | 0.2902 | 18/92 | 0/33 | 45/62 | 2.67 |
folded — дореформенные буквы приведены к современным. Источник: rossica/pilot/2026-10-27-cyrillic-ocr-benchmark/metrics/metrics-final.json. Эталон — черновик (автор «Claude (предложение)», не проверен человеком). Выбран orus s1 (основной), Cyrillic s0.5 — сверка.
Подбор Tesseract (блок 4, 9 черновых эталонов, rossica/pilot/2026-10-28-tess-tuning/): утончение 2×2 + PSM 7 + whitelist снижает line CER 0.0666 → 0.0562 (−15,6 %), на отложенных страницах −11 %; в основной слой не внесено.
Конвейер
Риски для презентации
- Маньчжурское письмо ещё не распознано. 2546 вырезок без OCR; латиница — из кириллицы Захарова, не из письма.
- Кириллица шумная. 59.4 % строк с низкой уверенностью, без флагов только 8.6 % статей — показывать как «черновик авто».
- Транслитерация эвристическая. v2 даёт 97 % на эталонах, правило «н + согласная → ng» может ошибаться (sunja/sungja).
- Перекос страниц и граница столбцов. hx5 исправил p692, p695, p698, p892 (p891 — контроль); тот же баг на p339, p889, p919, p939 и отступ на p419, p1079 не тронуты (параллельный прогон).
- Серые вставки 150 ppi (p105, p107, p109, p123, p127, p169, p219, p231, p291, p397, p399, p419, p529, p702, p1164, p1166, p1168) — на демо не брать.
- Рукописные пометы (p106, p114, p132, p159, p199, p301, p419, p695, p1157); обрез скана: p114.
- Типовые ошибки букв: ѣ → ф/Б, потерянная «ж» в «чж», заглавные Э/Е. См.
ERRORS-catalog-2026-10-28.v3.md.
Каталог ошибок: ERRORS-catalog-2026-10-28.v3.md. Предупреждение для слайдов: показывать как «черновик автоматического распознавания», не как готовый словарь.
Сгенерировано 2026-10-28T04:23:46+08:00 (UTC+8), блок 13 (Grok Bot). Все данные — статус «авто», human_review: pending.