論文の概要: Do Language Models Track Entities Across State Changes?

• arxiv url: http://arxiv.org/abs/2605.30233v1
• Date: Thu, 28 May 2026 17:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.568017
• Title: Do Language Models Track Entities Across State Changes?
• Title（参考訳）: 言語モデルは、状態変化全体にわたってエンティティを追跡するか?
• Abstract要約: LMは、各層にまたがるトークンやクエリ関連状態を段階的に追跡するのではなく、クエリが明らかになると、関連する情報を最後のトークンで並列に集約する。 驚いたことに、LMは、脆弱なグローバルな抑制タグで$textttREMOVE$演算を実装し、このグローバルな削除メカニズムは、動作確認を行うさまざまな障害モードを予測する。
• 参考スコア（独自算出の注目度）: 25.16942913524478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity tracking (ET), the ability to keep track of states, is a fundamental skill that underlies complex reasoning. An increasing amount of work investigates how transformer language models (LMs) solve entity binding $\textit{without}$ state changes. However, there is limited understanding of how non-toy LMs address ET problems of realistic difficulties expressed in natural language. To this end, we investigate the mechanisms underlying ET in more complex scenarios featuring multiple state-changing operations. We find that LMs do not incrementally track world states across tokens or query-relevant states across layers, but simply aggregate relevant information in parallel at the last token when the query becomes evident. We further investigate mechanisms of individual operations ($\texttt{PUT}$, $\texttt{REMOVE}$, $\texttt{MOVE}$) to characterize this non-incremental ET mechanism. Surprisingly, LMs implement the $\texttt{REMOVE}$ operation with a fragile global suppression tag; this global removal mechanism predicts various failure modes that we confirm behaviorally. We provide a mechanistic solution of nullifying this tag to partially address this issue. Overall, our findings reveal that LMs solve a fundamentally sequential task using a non-sequential strategy. More broadly, our work illustrates how behavioral and mechanistic analyses can fruitfully interact. Behavioral results inform mechanistic hypotheses, and insights from mechanistic analyses help build stronger behavioral evaluations by predicting failure modes missing from existing evaluations.
• Abstract（参考訳）: 状態追跡機能であるエンティティトラッキング(ET)は、複雑な推論の基礎となる基本的なスキルである。 トランスフォーマー言語モデル(LM)がエンティティバインディングを$\textit{without}$状態変化でどのように解決するかを調査する作業が増えている。 しかし、自然言語で表現される現実的困難のET問題に対して、非目的のLMがどう対処するかについては、限定的な理解がある。 そこで本研究では,複数の状態変化操作を特徴とする複雑なシナリオにおいて,ETの基盤となるメカニズムについて検討する。 LMは、各層にまたがるトークンやクエリ関連状態を段階的に追跡するのではなく、クエリが明らかになると、関連する情報を最後のトークンで並列に集約する。 さらに、この非インクリメンタルETメカニズムを特徴付けるために、個別の操作(\texttt{PUT}$, $\texttt{REMOVE}$, $\texttt{MOVE}$)のメカニズムについても検討する。 驚いたことに、LMは脆弱なグローバル抑制タグで$\texttt{REMOVE}$操作を実装しています。 この問題に部分的に対処するために、このタグを無効にするためのメカニスティックなソリューションを提供する。 以上の結果から,LMは非逐次的戦略を用いて,基本的な逐次的課題を解決していることが明らかとなった。 より広い範囲で、我々の研究は、行動と機械的分析が実りよく相互作用する様子を描いている。 行動結果は機械的仮説を示唆し、機械的分析からの洞察は、既存の評価から欠落した障害モードを予測することによって、より強力な行動評価を構築するのに役立つ。

関連論文リスト

• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• The Context Gathering Decision Process: A POMDP Framework for Agentic Search [38.92972416925679]
  大規模言語モデル(LLM)エージェントは複雑な環境にデプロイされる。 明示的なインフラストラクチャがなければ、エージェントの動作メモリは、検索状態の損失のある表現に分解される可能性がある。 我々はこの課題をコンテキスト収集決定プロセス(CGDP)として定式化する。 反復LDM剤に対する2つのプラグ・アンド・プレイ介入法を導出する。
  論文  参考訳（メタデータ） (2026-05-07T23:45:07Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Finding the Translation Switch: Discovering and Exploiting the Task-Initiation Features in LLMs [69.28193153685893]
  大きな言語モデル(LLM)は、タスク固有の微調整なしでも、しばしば強力な翻訳能力を示す。 このプロセスをデミスティフィケートするために、スパースオートエンコーダ(SAE)を活用し、タスク固有の特徴を特定するための新しいフレームワークを導入する。 我々の研究は、LLMの翻訳機構のコアコンポーネントをデコードするだけでなく、内部モデル機構を使用してより堅牢で効率的なモデルを作成するための青写真も提供しています。
  論文  参考訳（メタデータ） (2026-01-16T06:29:07Z)
• From Indirect Object Identification to Syllogisms: Exploring Binary Mechanisms in Transformer Circuits [5.1877231178075425]
  本稿では,GPT-2小さめの2値真理値処理能力について,その振る舞いをシロジカル・プロンプトを用いて解析することによって検討する。 GPT-2の論理推論能力を機械的に説明できる複数の回路を同定する。
  論文  参考訳（メタデータ） (2025-08-22T05:54:11Z)
• (How) Do Language Models Track State? [52.03388573068501]
  トランスフォーマー言語モデル(LM)は、進化する世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
  論文  参考訳（メタデータ） (2025-03-04T18:31:02Z)
• Relational Action Bases: Formalization, Effective Safety Verification, and Invariants (Extended Version) [67.99023219822564]
  我々はリレーショナルアクションベース(RAB)の一般的な枠組みを紹介する。 RABは両方の制限を解除することで既存のモデルを一般化する。 データ対応ビジネスプロセスのベンチマークにおいて、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-08-12T17:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。