論文の概要: On the Ability of Transformers to Verify Plans

• arxiv url: http://arxiv.org/abs/2603.19954v1
• Date: Fri, 20 Mar 2026 13:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.158337
• Title: On the Ability of Transformers to Verify Plans
• Title（参考訳）: 変圧器の計画検証能力について
• Authors: Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn,
• Abstract要約: 本稿では,デコーダのみのモデルを用いて,与えられた計画が与えられた計画インスタンスを正しく解決するかどうかを検証する。 本稿では,C*-RASPについて紹介する。C*-RASPは変圧器の長さの一般化を保証するために設計されたC-RASPの拡張である。 提案手法は,変圧器が長期計画の検証を確実に学べる,古典的計画領域の大規模なクラスを同定するものである。
• 参考スコア（独自算出の注目度）: 50.65678452287009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have shown inconsistent success in AI planning tasks, and theoretical understanding of when generalization should be expected has been limited. We take important steps towards addressing this gap by analyzing the ability of decoder-only models to verify whether a given plan correctly solves a given planning instance. To analyse the general setting where the number of objects -- and thus the effective input alphabet -- grows at test time, we introduce C*-RASP, an extension of C-RASP designed to establish length generalization guarantees for transformers under the simultaneous growth in sequence length and vocabulary size. Our results identify a large class of classical planning domains for which transformers can provably learn to verify long plans, and structural properties that significantly affects the learnability of length generalizable solutions. Empirical experiments corroborate our theory.
• Abstract（参考訳）: トランスフォーマーは、AI計画タスクにおいて一貫性のない成功を示しており、一般化がいつ期待されるかの理論的理解は限られている。 このギャップに対処するための重要なステップとして、デコーダのみのモデルを解析して、与えられた計画が与えられた計画インスタンスを正しく解決するかどうかを検証する。 C*-RASPは、C-RASPの拡張であり、C*-RASPは、配列長と語彙サイズの同時増加の下で変換器の時間的一般化を保証するように設計されている。 本研究は,変圧器が長期計画の検証を確実に行うことのできる古典的計画領域と,長さ一般化可能な解の学習可能性に大きく影響する構造的特性を同定する。 実証実験は我々の理論を裏付ける。

関連論文リスト

• Quantitative Bounds for Length Generalization in Transformers [58.175107357008876]
  変圧器における長さ一般化(LG)問題について検討する。 LGは、長い列上の変圧器の内部挙動が短い列上の振舞いによって「シミュレート」できるときに発生する。
  論文  参考訳（メタデータ） (2025-10-30T21:31:36Z)
• The Role of Sparsity for Length Generalization in Transformers [58.65997625433689]
  そこで本研究では,次の予測課題に対する長さの一般化を研究するための理論的枠組みを提案する。 予測された各トークンが前のトークンの小さな(固定された)数に依存する限り、長さの一般化が生じることを示す。 本稿では,位置結合手法で使用する位置IDを予測するために,変圧器を訓練する予測位置結合を導入する。
  論文  参考訳（メタデータ） (2025-02-24T03:01:03Z)
• Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
  本稿では,変圧器の1次論理的推論能力をパラメータ化知識を用いて一般化する。 本稿では,一階述語論理エンターメントの性能を大幅に向上させる論理認識アーキテクチャTEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-01T07:05:32Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• A Formal Framework for Understanding Length Generalization in Transformers [14.15513446489798]
  因果変換器における長さ一般化を解析するための厳密な理論的枠組みを導入する。 我々は,この理論を,アルゴリズムおよび形式言語タスクにおける長さ一般化の成功と失敗の予測器として実験的に検証した。
  論文  参考訳（メタデータ） (2024-10-03T01:52:01Z)
• From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers [7.011373967209572]
  対象の注意バイアスの助けを借りて,変圧器モデルを長大化することができることを示す。 ABC を用いて,変圧器モデルにより,ある種の算術課題において,前例のないほぼ完全長の一般化を達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-18T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。