ドメインに特化した比較的少量のデータによる事前学習済みBERTの利用可能性：鉄鋼業における事例
概要
BERTを特定の業種に特化した場面で用いる際には，汎用のモデル，汎用のモデルに追加学習を施したモデル，フルスクラッチで事前学習したモデルのいずれかの選択肢がある。事前学習を行えば分野に特化したモデルができるが，分野が狭くなるほど用意できるデータは少なくなる。本研究では，鉄鋼業に特化したデータを用いて追加学習・事前学習を行い，ファインチューニングを要する特許分類タスクと，要しない語義曖昧性解消タスクで評価した。実験の結果，学習データが比較的少ないとしても，事前学習したモデルが優位になる場合があることが分かった。