論文の概要: Diagnosing Representation Dynamics in NER Model Extension

• arxiv url: http://arxiv.org/abs/2510.17930v2
• Date: Thu, 23 Oct 2025 09:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.358508
• Title: Diagnosing Representation Dynamics in NER Model Extension
• Title（参考訳）: NERモデル拡張における表現ダイナミクスの診断
• Authors: Xirui Zhang, Philippe de La Chevasnerie, Benoit Fabre,
• Abstract要約: 標準セマンティクスと新しいパターンベースのPIIに基づいてBERTモデルを微調整すると、元のクラスでは最小限の劣化が生じる。 この研究は、NERモデル適応の機械的診断、特徴独立性の強調、表現重複、および'O'タグの可塑性を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extending Named Entity Recognition (NER) models to new PII entities in noisy spoken-language data is a common need. We find that jointly fine-tuning a BERT model on standard semantic entities (PER, LOC, ORG) and new pattern-based PII (EMAIL, PHONE) results in minimal degradation for original classes. We investigate this "peaceful coexistence," hypothesizing that the model uses independent semantic vs. morphological feature mechanisms. Using an incremental learning setup as a diagnostic tool, we measure semantic drift and find two key insights. First, the LOC (location) entity is uniquely vulnerable due to a representation overlap with new PII, as it shares pattern-like features (e.g., postal codes). Second, we identify a "reverse O-tag representation drift." The model, initially trained to map PII patterns to 'O', blocks new learning. This is resolved only by unfreezing the 'O' tag's classifier, allowing the background class to adapt and "release" these patterns. This work provides a mechanistic diagnosis of NER model adaptation, highlighting feature independence, representation overlap, and 'O' tag plasticity. Work done based on data gathered by https://www.papernest.com
• Abstract（参考訳）: 名前付きエンティティ認識(NER)モデルを雑音の多い音声言語データで新しいPIIエンティティに拡張することは、一般的なニーズである。 標準セマンティクス(PER, LOC, ORG)と新しいパターンベースPII(EMAIL, PHPH)でBERTモデルを協調的に微調整すると、元のクラスでは最小限の劣化が生じる。 この「平和的共存」を考察し、モデルが独立した意味論と形態的特徴メカニズムを用いていると仮定する。 診断ツールとしてインクリメンタルな学習設定を用いてセマンティックドリフトを測定し、2つの重要な洞察を得る。 まず、LOC(location)エンティティは、パターンのような特徴(例えば、郵便番号)を共有するため、新しいPIIと重複する表現のため、ユニークな脆弱性がある。 第二に、「逆Oタグ表現ドリフト」を識別する。 PIIパターンを'O'にマッピングするよう訓練されたこのモデルは、新しい学習をブロックする。 これは 'O' タグの分類子をアンフリーズすることでのみ解決される。 この研究は、NERモデル適応の機械的診断、特徴独立性の強調、表現重複、および'O'タグの可塑性を提供する。 https://www.papernest.com が収集したデータに基づいた作業。

関連論文リスト

• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• ProtoNER: Few shot Incremental Learning for Named Entity Recognition using Prototypical Networks [7.317342506617286]
  プロトタイプネットワークに基づくエンドツーエンドKVP抽出モデルを示す。 モデルの初期トレーニングに使用されるデータセットに依存しない。 ノイズを付加し、結果としてモデルの性能劣化を引き起こすような中間合成データ生成は行われない。
  論文  参考訳（メタデータ） (2023-10-03T18:52:19Z)
• Prototype-based Embedding Network for Scene Graph Generation [105.97836135784794]
  現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。 被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。 プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。 PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
  論文  参考訳（メタデータ） (2023-03-13T13:30:59Z)
• Span-based Named Entity Recognition by Generating and Compressing Information [23.444967843156086]
  我々は,2種類のIBモデルを一つのシステムに統合し,名前付きエンティティ認識を強化することを提案する。 5つの異なるコーパスの実験は、生成モデルと情報圧縮モデルの両方を共同で訓練することで、ベースラインスパンベースのNERシステムの性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2023-02-10T17:40:51Z)
• Nested Named Entity Recognition from Medical Texts: An Adaptive Shared Network Architecture with Attentive CRF [53.55504611255664]
  ネスト現象によるジレンマを解決するために,ASACと呼ばれる新しい手法を提案する。 提案手法は,適応共有(AS)部と注意条件付きランダムフィールド(ACRF)モジュールの2つの鍵モジュールを含む。 我々のモデルは、異なるカテゴリのエンティティ間の暗黙の区別と関係をキャプチャすることで、より良いエンティティ表現を学ぶことができる。
  論文  参考訳（メタデータ） (2022-11-09T09:23:56Z)
• SpanProto: A Two-stage Span-based Prototypical Network for Few-shot Named Entity Recognition [45.012327072558975]
  名前付きエンティティ認識(NER)は、アノテーション付きデータが少ない名前付きエンティティを識別することを目的としている。 そこで本研究では,2段階のアプローチを用いて,数発のNERに対処するセミナルスパンベースプロトタイプネットワーク(SpanProto)を提案する。 スパン抽出の段階では、逐次タグを大域境界行列に変換し、モデルが明示的な境界情報に集中できるようにする。 分類に言及するために、原型学習を活用してラベル付きスパンのセマンティック表現をキャプチャし、新しいクラスエンティティへの適応性を向上する。
  論文  参考訳（メタデータ） (2022-10-17T12:59:33Z)
• Rethinking the Two-Stage Framework for Grounded Situation Recognition [61.93345308377144]
  接地状況認識は「人間のような」事象理解に向けた重要なステップである。 既存のGSR手法では、第1段階で動詞を予測し、第2段階での意味的役割を検出するという、2段階の枠組みを採用している。 本稿では,CFVM (Coarse-to-Fine Verb Model) と Transformer-based Noun Model (TNM) で構成される新しいGSR用SituFormerを提案する。
  論文  参考訳（メタデータ） (2021-12-10T08:10:56Z)
• A Sequence-to-Set Network for Nested Named Entity Recognition [38.05786148160635]
  ネストNERのための新しいシーケンス・ツー・セットニューラルネットワークを提案する。 我々は、非自己回帰デコーダを使用して、1回のパスで最終的なエンティティセットを予測する。 実験により, ネストした3つのNERコーパスに対して, 提案モデルが最先端となることを示す。
  論文  参考訳（メタデータ） (2021-05-19T03:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。