論文の概要: From Relation-Specific Heads to Shared Interventions: Contextual Entrainment in Language Models

• arxiv url: http://arxiv.org/abs/2610.18674v1
• Date: Tue, 13 Oct 2026 16:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.683128
• Title: From Relation-Specific Heads to Shared Interventions: Contextual Entrainment in Language Models
• Title（参考訳）: リレーショナル・スペクティブ・ヘッドから共有介入へ:言語モデルにおける文脈制約
• Abstract要約: 大規模言語モデルは、文脈内での学習、形式に従うこと、および局所的な証拠に適応するために、素早い文脈に依存している。 モデルでは、後続のクエリに応答する際に、以前のコンテキストから無関係なトークンを再利用することができる。 先行研究は、この振る舞いを文脈的エントレメントとして認識し、アブレーションが減少する注意ヘッドを見つけ、これらのヘッドは、主にタスクまたは関係性固有のものであると主張した。 しかし、文脈制約のメカニズムは、関係によって真に孤立しているか、関係条件付き検索は関係間で共有される再利用可能なコンポーネントを回復するのか?
• 参考スコア（独自算出の注目度）: 0.8330284986715402
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models rely on prompt context to perform in-context learning, follow formats, and adapt to local evidence. This ability, however, also raises a robustness concern: models may reuse irrelevant tokens from earlier context when answering a later query. Prior work identifies this behavior as contextual entrainment and finds attention heads whose ablation reduces it, arguing that these heads are largely task- or relation-specific. But are the mechanisms behind contextual entrainment truly isolated by relation, or do relation-conditioned searches recover reusable components shared across relations? Using factual-distractor relation-completion prompts across 19 lexical-semantic subtypes, we identify attention heads whose ablation reduces entrainment and test how the resulting head sets transfer recovery ability across exact relations, semantic families, and mixed relation distributions. Same-family transfer exceeds different-family transfer, family residuals weaken once globally shared heads are removed, and subtype-specific searches repeatedly rediscover many global heads. Clean-completion and context-use probes further suggest that this shared intervention can reduce harmful copying while preserving ordinary relation completion and simple in-context abilities. Our findings provide a more precise perspective on contextual entrainment and its mitigation: harmful context following is not best addressed by searching for isolated relation-specific circuits, but by using heterogeneous attack prompts to reveal reusable intervention targets whose effects are shaped by semantic relation structure.
• Abstract（参考訳）: 大規模言語モデルは、文脈内での学習、形式に従うこと、および局所的な証拠に適応するために、素早い文脈に依存している。 モデルでは、後続のクエリに応答する際に、以前のコンテキストから無関係なトークンを再利用することができる。 先行研究は、この振る舞いを文脈的エントレメントとして認識し、アブレーションが減少する注意ヘッドを見つけ、これらのヘッドは、主にタスクまたは関係性固有のものであると主張した。 しかし、文脈制約のメカニズムは、関係によって真に孤立しているか、関係条件付き検索は関係間で共有される再利用可能なコンポーネントを回復するのか? 本研究では,19種類の語彙-意味的サブタイプにまたがる事実-抽出関係補完プロンプトを用いて,アブレーションを減少させるアテンションヘッドを特定し,その結果の頭部が正確な関係,セマンティックファミリー,混合関係分布にまたがる伝達回復能力をどのように設定するかを検証した。 同じ家族移動は、異なる家族移動を超越し、グローバルな共有ヘッドが取り除かれると家族の残基が弱まり、サブタイプ固有の検索は、多くのグローバルヘッドを再発見する。 クリーン・コンプリートとコンテキスト・ユース・プローブは、通常の関係補完と単純なインコンテキスト能力を維持しながら、この共有介入が有害なコピーを減らすことを示唆している。 有害な文脈は、孤立した関係性のある回路の探索によって対処されるのではなく、不均一な攻撃プロンプトを用いることで、意味的関係構造によって影響が形成される再利用可能な介入ターゲットを明らかにするのが最善である。

関連論文リスト

• Causally Evaluating the Learnability of Formal Language Tasks [59.73001113068827]
  データ周波数と学習可能性の関係を精査する。 特定のサブタスクの学習可能性を測定するために、Kullback-Leibler分散メトリクスを導出する。 実験の結果,因果介入を伴わない学習性の評価は誤結論につながることがわかった。
  論文  参考訳（メタデータ） (2026-06-08T17:58:36Z)
• Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction [19.019881161010474]
  関係抽出は、本質的にはテキスト分類問題であり、事前学習言語モデル(LM)を微調整することで取り組める。 既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。 本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。
  論文  参考訳（メタデータ） (2023-12-18T09:58:19Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Let's be explicit about that: Distant supervision for implicit discourse relation classification via connective prediction [0.0]
  暗黙の談話関係分類では,任意の談話接続が存在しない場合,隣り合う文間の関係を予測したい。 我々は,暗黙関係の明示を通じてデータ不足を回避し,タスクを2つのサブプロブレム(言語モデリングと明示的談話関係分類)に減らした。 実験結果から,本手法は同等性能の代替モデルよりも遥かに単純であるにもかかわらず,最先端技術よりもはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-06T17:57:32Z)
• Logic-guided Semantic Representation Learning for Zero-Shot Relation Classification [31.887770824130957]
  ゼロショット関係分類のための論理誘導型意味表現学習モデルを提案する。 我々のアプローチは、暗黙的および明示的な意味表現と知識グラフの埋め込みと論理規則との接続を構築する。
  論文  参考訳（メタデータ） (2020-10-30T04:30:09Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)
• SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction [60.08464995629325]
  オープンドメイン関係抽出は、自然言語文からオープンドメイン関係事実を抽出するタスクである。 弱い自己教師型信号を利用する自己教師型フレームワークであるSelfOREを提案する。 3つのデータセットの実験結果は、SelfOREの有効性とロバスト性を示している。
  論文  参考訳（メタデータ） (2020-04-06T07:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。