論文の概要: Planning with Transformers: Chain of Computation and Structured Context Windows

• arxiv url: http://arxiv.org/abs/2607.17710v1
• Date: Mon, 20 Jul 2026 09:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.55792
• Title: Planning with Transformers: Chain of Computation and Structured Context Windows
• Title（参考訳）: トランスフォーマーによるプランニング:計算と構造化コンテキストウィンドウのチェーン
• Abstract要約: 大規模言語モデル(LLM)は、機械学習の多くの領域に顕著な影響を与えた。 近年の研究では、計画上の問題を確実に解くのに苦労していることが示されている。 理論的な結果は、現代のLLMの基盤となるコアアーキテクチャであるトランスフォーマーがチューリング完全であることを示している。
• 参考スコア（独自算出の注目度）: 8.408138419383747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have had a remarkable impact across many areas of machine learning. However, recent studies have shown that they struggle to reliably solve planning problems. At the same time, theoretical results have shown that transformers, the core architecture underlying modern LLMs, are Turing-complete. In this work, we investigate this apparent gap between the theoretical computational power of LLMs and their empirical planning performance. We propose Chain of Computation (COC), a computational architecture that places a transformer-based LM inside an iterative loop, leveraging its strength as a pattern-matching system. The COC uses a Structured Context Window (SCW) which provides a constant-sized context window with support for choosing which window is used at each planning step. Within this architecture, the LM is able to learn a planning policy, predicts the world model, and performs the arithmetic operations required during planning. We show that, when given an append-only SCW (resembling a Turing Machine tape), even relatively small LMs trained from scratch can learn planning policies and generalize from a small number of training instances within each planning domain, achieving success rates above 99.89\% on BlocksWorld and the Pancake puzzle. Our analysis of failure cases in Tower of Hanoi (TOH) reveals that they arise from arithmetic operations or from encountering previously unseen tokens. We show that COC can solve TOH problem instances with up to 20 disks, requiring over 1 million actions, while requiring substantially less training data by either (1) planning with symbolical support for arithmetic or by (2) using a deterministic pushdown automaton (PDA) formulation for the SCW.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、機械学習の多くの領域に顕著な影響を与えた。 しかし、最近の研究では、計画問題の確実な解決に苦慮していることが示されている。 同時に、理論的な結果から、現代のLLMの基盤となるコアアーキテクチャであるトランスフォーマーがチューリング完全であることが示されている。 本研究では,LLMの理論的計算能力と実験計画性能との差について検討する。 本稿では,その強度をパターンマッチングシステムとして活用し,トランスフォーマーベースのLMを反復ループ内に配置する計算アーキテクチャであるChain of Computation (COC)を提案する。 COCはStructured Context Window (SCW)を使用しており、各プランニングステップでどのウィンドウが使用されるかを選択するための、一定のサイズのコンテキストウィンドウを提供する。 このアーキテクチャでは、LMは計画ポリシーを学習し、世界モデルを予測し、計画に必要な算術演算を実行することができる。 追加のみのSCW(チューリングマシンテープを組み立てる)を与えられた場合、スクラッチから訓練された比較的小さなLMでも計画ポリシーを学習し、各計画領域内の少数のトレーニングインスタンスから一般化することができ、BlocksWorldとPancakeパズルで99.89\%以上の成功率を達成することができる。 ハノイ塔(TOH)の故障事例を解析した結果,算術演算や未確認トークンとの遭遇から発生することが判明した。 我々は,最大20個のディスクでTOH問題インスタンスを解き,100万以上のアクションを必要とすることを示し,(1)算術の記号的サポートを計画するか,(2)SCWのための決定論的プッシュダウンオートマトン(PDA)の定式化を用いて,トレーニングデータを大幅に削減することを示した。

関連論文リスト

• Model-Native Computing Architecture: Envisioning Future System Architecture Through the Lens of Computer Architecture [3.6606890511372705]
  大規模言語モデルは、モデル技術からシステム技術へ移行している。 繰り返し発生するエンジニアリング問題は 古典的なコンピュータシステムに 似ています コンピュータアーキテクチャから新たなモデルネイティブスタックまでの概念をマッピングします。
  論文  参考訳（メタデータ） (2026-05-29T19:20:16Z)
• Beyond Test-Time Training: Learning to Reason via Hardware-Efficient Optimal Control [86.63490309209378]
  我々は、最適制御として推論を定式化し、推論時に潜在状態に対して有限水平LQR計画を行うテスト時間制御層を導入する。 アーキテクチャ層として最適制御を組み込むことは、テスト時間トレーニングを超えた推論のための効果的でスケーラブルなメカニズムを提供することを実証する。
  論文  参考訳（メタデータ） (2026-03-10T05:42:13Z)
• A Small-Scale System for Autoregressive Program Synthesis Enabling Controlled Experimentation [4.499832265081113]
  Integer Virtual Machine (VM)、多種多様なタスクの真のプログラムからなるデータセット、そして200ドル以下の計算コストでトレーニングされた自己回帰変換器モデルを含むCadmusと呼ばれるシステムを提案する。 このシステムは、研究者がトレーニング分布を効果的かつ安価に制御できるような環境で、プログラム完了、アウト・オブ・ディストリビューション表現、帰納的推論、および指示に従うのに使用できる。
  論文  参考訳（メタデータ） (2026-02-09T19:03:04Z)
• Language Model Planning from an Information Theoretic Perspective [31.323156960716826]
  デコーダのみの言語モデル(LM)は、コヒーレントな長距離生成をサポートするために中間計算を編成する。 計画には、長い地平線上で計算を構造化し、複数の可能な継続を考慮し、過去の情報を選択的に再利用することが含まれる。 我々は、合成文法、パスフィニングタスク、自然言語データセットにわたるLMにおける計画について研究する。
  論文  参考訳（メタデータ） (2025-09-28T01:58:15Z)
• Computational Thinking Reasoning in Large Language Models [69.28428524878885]
  計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。 ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:11:15Z)
• Self-Steering Language Models [113.96916935955842]
  DisCIPL は "self-steering" 言語モデル (LM) の手法である。 DisCIPLは、Followerモデルの集団によって実行されるタスク固有の推論プログラムを生成する。 我々の研究は、高度に並列化されたモンテカルロ推論戦略の設計空間を開く。
  論文  参考訳（メタデータ） (2025-04-09T17:54:22Z)
• Plan-over-Graph: Towards Parallelable LLM Agent Schedule [53.834646147919436]
  大規模言語モデル(LLM)はタスク計画の推論において例外的な能力を示した。 本稿では,まず実生活のテキストタスクを実行可能なサブタスクに分解し,抽象的なタスクグラフを構築する,新しいパラダイムであるプランオーバーグラフを提案する。 モデルはこのタスクグラフを入力として理解し、並列実行計画を生成する。
  論文  参考訳（メタデータ） (2025-02-20T13:47:51Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Supervised Chain of Thought [5.389461633686935]
  Chain of Thought (CoT)は複雑な推論タスクを解決するための有望なアプローチを提供する。 ワンプロンプト・フォー・オールアプローチは、正しい推論ステップを生成するためにモデルに重大な課題をもたらす。 タスク固有の監督が、プロンプト空間を正確にナビゲートし、最適な性能を達成するためにいかに重要であるかを示す。
  論文  参考訳（メタデータ） (2024-10-18T06:25:27Z)
• Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines [7.695524275630717]
  大規模言語モデル(LLM)は、広範囲の自然言語処理と推論タスクで顕著な機能を示している。 チューリングマシンをエミュレートすることで,LCMがステップバイステップの計算を実行することを学べる構成可能な算術演算フレームワーク(CAEF)を提案する。 評価では, LLaMA 3.1-8B モデル上での7つの一般的な数学的操作に対して, CAEF は100%近い精度を達成している。
  論文  参考訳（メタデータ） (2024-10-10T13:23:49Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• Nl2Hltl2Plan: Scaling Up Natural Language Understanding for Multi-Robots Through Hierarchical Temporal Logic Task Representation [8.180994118420053]
  Nl2Hltl2Planは自然言語コマンドを階層線形時間論理(LTL)に変換するフレームワーク まず、LLMは命令を階層的なタスクツリーに変換し、論理的および時間的関係をキャプチャする。 次に、微調整されたLLMは、サブタスクをフラットな公式に変換し、階層的な仕様に集約する。
  論文  参考訳（メタデータ） (2024-08-15T14:46:13Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。