論文の概要: Agentic Transformers Provably Learn to Search via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.00183v1
- Date: Fri, 29 May 2026 14:58:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.092443
- Title: Agentic Transformers Provably Learn to Search via Reinforcement Learning
- Title（参考訳）: エージェントトランスフォーマーはおそらく強化学習を通して検索を学習する
- Abstract要約: 木探索は多くの言語エージェント推論と意思決定タスクの背後にある中心的な抽象化である。
エージェント変換器は相互作用を通してその軌道履歴のみを観察する。
ランダム化深度優先探索(DFS)を実装した2ヘッドトランスを最初に構築する。
そこで我々は,このDFS機構が,緩やかな強化フィードバックから,段階的に現れることを示す。
- 参考スコア（独自算出の注目度）: 80.1412817870784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree search is a central abstraction behind many language-agent reasoning and decision-making tasks: agents must explore actions, remember failures, and backtrack toward promising alternatives. Yet, we lack a theoretical understanding of how transformer-based policies acquire such search capabilities from the training dynamics of reinforcement learning (RL). We study this question in a stochastic $k$-ary tree environment, where an agentic transformer observes only its trajectory history through interaction and receives a terminal reward for reaching a hidden leaf goal node. We first construct a two-head transformer that implements randomized depth-first search (DFS): one head tracks previous actions, while the other detects failure outcomes and triggers backtracking. We then analyze the training dynamics of policy gradient under a depth-wise curriculum, showing that this same DFS mechanism emerges in stages from sparse reinforcement feedback without expert demonstrations. The resulting policy exhibits depth generalization: after training only on depth-$1$ and depth-$2$ trees, it succeeds on deeper full trees. We further show that, under imbalanced goal distributions, discounting the return leads to a ranked DFS policy that prioritizes higher-probability branches. Overall, our results identify a mechanistic normal form for transformer-based search, in which attention heads specialize and cooperate to extract decision-relevant traces from context and convert them into agentic action selection via RL training.
- Abstract（参考訳）: ツリー検索は多くの言語エージェントによる推論や意思決定タスクの背後にある中心的な抽象化である。
しかし, 強化学習(RL)の学習力学から, トランスフォーマーに基づく政策がこのような検索能力をいかに獲得するかという理論的理解は欠如している。
そこではエージェントトランスフォーマーが相互作用を通してその軌道履歴のみを観測し、隠れた葉のゴールノードに到達した際の終末報酬を受け取る。
まず、ランダム化深度優先探索(DFS)を実装した2つのヘッドトランスフォーマーを構築し、一方のヘッドは前のアクションを追跡し、他方のヘッドは失敗の結果を検出し、バックトラックをトリガーする。
そこで我々は,このDFS機構が,専門家による実演を伴わずに,緩やかな強化フィードバックから段階的に現れることを示す。
深度1ドルと深度2ドルでのみ訓練した後、深度フルツリーで成功している。
さらに、不均衡な目標分布の下では、リターンの割引は、高い確率分岐を優先するDFSポリシーに導かれることを示す。
以上の結果から,コンテクストから意思決定関連トレースを抽出し,RLトレーニングによるエージェント動作選択に変換する,トランスフォーマーに基づく探索の機械的正規形式が同定された。
関連論文リスト
- Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents [15.62688304085298]
ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。
On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。
本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
論文 参考訳（メタデータ） (2026-08-13T03:13:18Z) - SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。
筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
論文 参考訳（メタデータ） (2026-07-16T09:57:18Z) - RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards [76.17893114021757]
長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。
本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。
我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
論文 参考訳（メタデータ） (2026-05-11T17:40:38Z) - Learning to Retrieve from Agent Trajectories [72.8923565916533]
我々はエージェント間相互作用データから直接エージェント探索のための検索モデルを訓練すべきであると主張している。
エージェント・トラジェクトリからの学習を新たな訓練パラダイムとして導入し,マルチステップエージェントのインタラクションから指導を導出する。
本研究は,エージェント探索時代における検索の方向性を示すとともに,エージェントトラジェクトリを実用的でスケーラブルな監視源として強調するものである。
論文 参考訳（メタデータ） (2026-03-30T17:59:02Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - AT$^2$PO: Agentic Turn-based Policy Optimization via Tree Search [19.443576967819684]
LLMエージェントは、内部推論と外部ツールの相互作用をインターリーブすることによって、マルチターンタスクに対処する強力なシステムとして登場した。
マルチターンエージェントRLのための統合フレームワークであるAT$2$POを提案する。
論文 参考訳（メタデータ） (2026-01-08T09:35:49Z) - Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent [66.78052387054593]
この研究は、トランスフォーマーがシンボリックな多段階推論問題をチェーン・オブ・ソート・プロセスを通してどのように解くかを研究する。
モデルがゴールノードからルートへの経路を出力する後方推論タスクと,より複雑な前方推論タスクである。
訓練された一層変圧器は、木々の一般化を保証することにより、両方の課題を確実に解決できることを示す。
論文 参考訳（メタデータ） (2025-08-11T17:40:47Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳（メタデータ） (2025-04-24T17:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。