Понимание что искать — лишь половина дела. Гораздо интереснее как машины научились это делать с высокой точностью. Путь извлечения именованных сущностей (NER) от простых правил к мощным нейронным сетям — яркий пример прогресса в обработке естественного языка (NLP). Давайте проследим эту эволюцию, уделив особое внимание современным нейросетевым подходам.

Начало: правила, словари и статистика

До эры нейросетей системы NER опирались на более «ручные» методы:

1. Правила и шаблоны: Инженеры вручную создавали сложные наборы правил. Например: «Слово с заглавной буквы, за которым следует слово ‘сказал’, вероятно, является PER» или «Словосочетание, включающее слова ‘улица’, ‘проспект’, ‘площадь’ — это LOC«. Хотя такие системы могли быть точными в узких областях, их создание было трудоемким, а адаптация к новым темам или языкам — сложной.

2. Словари (лексиконы): Использовались огромные списки известных сущностей: базы имен людей, названий городов, компаний. Недостатки очевидны: словари быстро устаревают, не покрывают новые или редкие сущности (ООО «Рога и Копыта новые»), и не справляются с омонимами (слово «Москва» — город, а «Москва» в «река Москва» — часть названия реки LOC).

3. Статистические модели (HMM, CRF): Эти методы (например, скрытые марковские модели — HMM или условные случайные поля — CRF) были шагом вперед. Они учились предсказывать тип сущности для слова, учитывая его контекст (окружающие слова) и признаки (заглавная ли буква, часть речи и т.д.), на основе статистики из размеченных данных. Они были гибче правил, но их точность сильно зависела от качества ручной разработки признаков (features), которые подавались на вход модели.

Прорыв: эра глубокого обучения и нейронных сетей

Появление мощных нейронных сетей и методов глубокого обучения кардинально изменило ландшафт NER. Ключевые инновации:

Векторные представления слов (Word Embeddings)

Word2Vec, GloVe, FastText. Это фундамент. Вместо обработки слов как строк символов, нейросети стали преобразовывать слова в плотные числовые векторы. Гениальность в том, что эти векторы захватывают семантическое значение слова! Слова с похожим значением («король» и «монарх») имеют близкие векторы. Более того, векторы отражают и синтаксические, и даже некоторые контекстные связи. Это позволило сетям работать с смыслом слов, а не только с их формой. Теперь сеть «понимала», что «Париж» и «Лондон» — это объекты одного типа (LOC), даже если раньше не видела «Париж» в обучающих данных, но видела похожие слова.

Рекуррентные нейросети (RNN, LSTM, GRU): контекст — это ключ 

Огромным шагом стали архитектуры, способные обрабатывать последовательности слов, запоминая контекст. Простые RNN имели ограничения, но их усовершенствованные версии — LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Units) — научились эффективно «запоминать» важную информацию из начала предложения при обработке его конца. Почему это критично для NER? Значение слова часто зависит от контекста!

Пример: «Я иду в банк, чтобы снять деньги.» vs. «Мы гуляли вдоль речного банка.» В первом случае банк — это ORG (финансовая организация), во втором — LOC (часть рельефа). LSTM/GRU могут «вспомнить», что слова «снять деньги» указывают на финансовый контекст, а «речного» — на географический, и правильно классифицировать банк в каждом случае.

Трансформеры и предобученные модели (BERT & Co.): золотой стандарт 

Настоящую революцию совершила архитектура Трансформер и, главное, стратегия масштабного предварительного обучения (pre-training) на огромных корпусах текста, таких как BERT, RoBERTa, GPT и их аналоги. В чем их сила для NER?

• • Механизм внимания (Attention): Трансформеры анализируют все слова в предложении одновременно, вычисляя, насколько каждое слово «важно» для понимания каждого другого слова. Это позволяет улавливать сложные, дальние зависимости в тексте лучше, чем последовательные RNN.

  • Двунаправленность: Модели вроде BERT обучаются понимать контекст и слева, и справа от текущего слова одновременно (т.е. видят все предложение целиком). Это критично для точного определения границ и типа сущности.

  • Предобучение на огромных данных: Модели сначала учатся на колоссальных объемах неразмеченного текста, решая задачи вроде предсказания пропущенных слов (Masked Language Modeling — MLM). Это дает им глубочайшее общее понимание языка, его структуры и смысла. Затем их дообучают (fine-tune) на относительно небольшом наборе размеченных данных для конкретной задачи NER. Такой подход обеспечивает высочайшую точность и отличную обобщающую способность даже на текстах, непохожих на обучающие.

Как NER представляется сетям: формат BIO/BILUO

Независимо от архитектуры сети, задача NER обычно формулируется как последовательная разметка (sequence labeling). Каждому слову в предложении присваивается специальная метка, указывающая его роль внутри сущности:

• B- (Begin): Начало сущности (первое слово сущности). Например, B-PER для «Иван» в «Иван Петров».

• I- (Inside): Внутренняя часть сущности (не первое слово). Например, I-PER для «Петров» в «Иван Петров».

• O (Outside): Слово не является частью никакой именованной сущности. Например, «живет» в «Иван Петров живет в Москве».

• (Дополнительно в BILUO):

  • L- (Last): Последнее слово сущности.

  • U- (Unit): Сущность, состоящая из одного слова.

Пример: Предложение «Корпорация Apple открыла офис в Париже 1 мая.»

• «Корпорация» → B-ORG

• «Apple» → I-ORG (или L-ORG в BILUO)

• «открыла» → O

• «офис» → O

• «в» → O

• «Париже» → U-LOC (или B-LOC + I-LOC/L-LOC если считать «Париже» одним словом-сущностью)

• «1» → B-DATE

• «мая» → I-DATE (или L-DATE)

• «.» → O

Нейронная сеть (будь то LSTM или BERT) обучается предсказывать эту последовательность меток (B-ORG, I-ORG, O, O, O, U-LOC, B-DATE, I-DATE, O) для входной последовательности слов. Именно комбинация мощных архитектур (Трансформеры), богатых представлений слов (эмбеддинги), стратегии предобучения и формата BIO/BILUO сделали современные NER-системы такими эффективными.

Теперь, понимая как нейросети находят сущности, логично спросить: Как создать свою собственную NER-модель? Этому и будет посвящена наша следующая часть.