論文の概要: A Fine-Grained Hierarchy and Benchmark for State Tracking in Language Models

• arxiv url: http://arxiv.org/abs/2611.03094v1
• Date: Mon, 02 Nov 2026 13:12:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 13:26:30.222431
• Title: A Fine-Grained Hierarchy and Benchmark for State Tracking in Language Models
• Title（参考訳）: 言語モデルにおける状態追跡のための微細階層とベンチマーク
• Abstract要約: Gated DeltaNet (GDN) を4段階の難易度を持つ単語問題階層に対して評価した。 変圧器の長周期一般化は,全ての周期的状態追跡を含まないことを示す。 また、正の固有値を持つGDNがすべての非周期問題を表現し、特定の変換器によって認識される正規言語は、正確には可溶であることを示す。
• 参考スコア（独自算出の注目度）: 34.186167379471556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theoretical limitations of transformers on state tracking---the ability to track information about entities or variables over long contexts---have motivated new recurrent language modeling (LM) architectures such as Gated DeltaNet (GDN). These architectures have, in particular, been benchmarked against the $S_5$ word problem, a theoretically hard state-tracking task that captures abilities such as code evaluation under arbitrary variable assignment. It, however, remains open whether other, simpler forms of state tracking might both be more relevant in practice and already explain observed differences between these architectures. We propose evaluating state tracking using a hierarchy of word problems with four increasing levels of difficulty: r-trivial, corresponding to immutable assignment to variables in programming; aperiodic, where assignments are mutable; soluble, where assignments are self-referential; and general finite state tracking. Theoretically, we show that the class of problems transformers are thought to length-generalize on does not even contain all aperiodic state tracking. On the other hand, we prove that GDN with positive eigenvalues expresses all aperiodic problems, and the regular languages recognized by certain transformers are precisely all soluble ones, thus providing a fine-grained picture of state tracking capabilities of various architectures. Taking these ideas to practice, we construct StateBench, a 4-tier long-horizon state-tracking benchmark. Our systematic direct training experiments across architectures largely align with theoretical expectation, albeit with interesting observations at very large scale length-generalization. Additionally, we also evaluate pretrained models---both open hybrid and closed frontier ones---on StateBench, finding that none of them robustly solves even soluble state tracking, suggesting a direction for future improvement.
• Abstract（参考訳）: Gated DeltaNet (GDN) のような新しいリカレント言語モデリング (LM) アーキテクチャを動機付けている。 これらのアーキテクチャは、特に$S_5$ワード問題に対してベンチマークされている。これは理論的にハードな状態追跡タスクで、任意の変数割り当ての下でコード評価などの能力をキャプチャする。 しかし、他の単純な状態追跡形式が実際により関係があるかどうかについては未定であり、これらのアーキテクチャ間の相違が既に説明されている。 本稿では,プログラムにおける変数への不変な代入に対応するr-trivial,代入が可変なa periodic,代入が自己参照可能な可溶性,および一般有限状態追跡の4つの難易度を持つ単語の階層構造を用いて状態追跡を評価することを提案する。 理論的には、変圧器が長周期一般化していると考えられる問題のクラスは、全ての周期的状態追跡を含まないことが示される。 一方、正の固有値を持つGDNは全ての周期的問題を表現し、特定の変換器によって認識される正規言語は、正確には可溶であるので、様々なアーキテクチャの状態追跡能力の詳細な画像を提供する。 これらのアイデアを実践するために,4階層の長期追跡ベンチマークであるStateBenchを構築した。 アーキテクチャを横断する系統的な直接訓練実験は、非常に大規模な長さ一般化における興味深い観測と異なり、理論的な期待と大きく一致している。 さらに、オープンハイブリッドとクローズドフロンティアの両方の事前訓練モデルも評価し、StateBench上では、いずれのモデルも可溶性状態追跡を堅牢に解決せず、将来の改善に向けた方向性を示唆している。

関連論文リスト

• DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents [14.521998277689894]
  DSV-Memはステートフルなビジュアルメモリを評価するためのベンチマークである。 専門家がレビューしたシナリオと、ユーザ指向の5つのカテゴリにわたる1,000の質問で構成されている。 27以上の評価結果から, DSV-Memでは最強のベースラインスコアが45%以下であった。
  論文  参考訳（メタデータ） (2026-10-06T10:30:14Z)
• EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
  EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。 人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。 破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
  論文  参考訳（メタデータ） (2026-09-30T08:33:17Z)
• QEncodeBench: Can Large Language Models Encode Classical Problems into Verified Quantum Oracles? [5.990509154718772]
  グローバー探索、振幅増幅、および量子カウントは同じ再利用可能なサブルーチン(位相オラクル)に依存し、アルゴリズムの文献は与えられたように構成される。 QEncodeBenchは、古典的な制約問題を位相オラクルとしてエンコードした大きな言語モデルを処理します。 我々は、この能力を体系的に過大評価し、ベースステートテストをサンプリングし、系統的に過大評価する。
  論文  参考訳（メタデータ） (2026-07-31T15:47:25Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• Rethinking State Tracking in Recurrent Models Through Error Control Dynamics [26.942965240880515]
  本研究では,アフィン再帰ネットワークが状態表現を保存すると,状態分離部分空間の誤りを訂正できないことを示す。 我々は、ロバストな状態追跡がアーキテクチャの理論的表現性だけでなく、エラー制御によって決定されることを証明した。
  論文  参考訳（メタデータ） (2026-05-08T13:59:15Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models [13.532180752491954]
  大規模言語モデル(LLM)は、しばしばスケーリング法則に従う強力な一般化を持つ基礎モデルの例として記述される。 ここでは、強い関数を主張する全てのSOTAモデルの一般化と基本的推論の劇的な分解を示す。 また、間違った解法において強い過信感を観察し、妥当な音響的説明のような折り畳みの形で表現する。
  論文  参考訳（メタデータ） (2024-06-04T07:43:33Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。