論文の概要: X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization

• arxiv url: http://arxiv.org/abs/2609.32993v1
• Date: Sat, 26 Sep 2026 22:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:25:31.817115
• Title: X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
• Title（参考訳）: X-Tree: 効率的なエージェント一般化のための再利用可能なエクスペリエンスのトークン化
• Abstract要約: マルチステップエージェントはフラットアクションストリームでトレーニングされる。 私たちは、人間が再利用可能なルーチンからトップダウンを計画できる階層をトレーニングします。 X-Treeは、頻繁で成功したスキルがサブスキルからどのように構成されているかをキャプチャする。
• 参考スコア（独自算出の注目度）: 30.29841096652076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-step agents are trained on flat action streams: SFT and RLVR weight every token uniformly and ignore the sub-procedures that recur across tasks, the hierarchy that lets humans plan top-down from reusable routines. This structure sits unused, and flat training uses each scarce trajectory less fully than its content allows. Recent agents do use that structure, but only as LLM-written skills in context, never in the weights, so their gains do not generalize beyond retrieval. We instead recover this hierarchy from the data itself and train on it, with no LLM calls. Following text tokenizers, which build a vocabulary by counting alone, we score action spans by reusability and merge canonicalized actions into a reusable eXperience tree (X-Tree). Each X-Tree node captures how a frequent and success-bearing skill is composed from sub-skills, guiding efficient generalization. We integrate X-Tree into three training settings: offline RL, with each node as a training instance; online RLVR, with an adaptive skill bonus; and on-policy self-distillation, with X-Tree as the self-teacher's privileged context. Across WebArena, ScienceWorld, and WebShop at three model scales, X-Tree improves over standard recipes at matched data and budget by up to 4.5% SR on WebArena, 5.8% SR on ScienceWorld and 4.1% success on WebShop. Matched analyses attribute the gains to the X-Tree structure and the three integrations.
• Abstract（参考訳）: マルチステップエージェントはフラットなアクションストリームでトレーニングされる。 SFTとRLVRは、すべてのトークンを均一に重み付け、タスク間で再帰するサブプロデューサを無視します。 この構造は使われておらず、平らなトレーニングでは、その内容が許容するよりも、各不足軌跡を十分に使用していない。 近年のエージェントは、この構造を用いるが、LLMで書かれた文脈のスキルとしてのみ、重み付けは行わないため、その利得は検索以上の一般化はしない。 代わりに、データ自身からこの階層を復元し、LLMコールなしでトレーニングします。 単独で語彙を作るテキストトークン化に続いて、再利用可能性によってアクションスパンをスコアし、標準化されたアクションを再利用可能なeXperienceツリー(X-Tree)にマージする。 各X-Treeノードは、頻繁で成功率の高いスキルがサブスキルからどのように構成され、効率的な一般化を導くかをキャプチャする。 X-Treeは、オフラインのRL、各ノードをトレーニングインスタンスとして、オンラインのRLVR、適応的なスキルボーナスを備えた、オンラインのセルフ蒸留の3つのトレーニング設定に統合します。 WebArena、ScienceWorld、WebShopの3つのモデルスケールで、X-Treeはマッチしたデータと予算での標準的なレシピを、WebArenaで最大4.5% SR、ScienceWorldで5.8% SR、WebShopで4.1% 改善している。 マッチング解析は、X-Tree構造と3つの積分の利得を特徴付けている。

関連論文リスト

• SCAFFOLD: Self-Improving Web Agents via Recursive Parametric Skill Abstraction [13.7368753473801]
  textscScaffoldはビジュアルWebエージェントのための自己改善フレームワークである。 マルチインスタンス抽象制約の下で、成功した軌道からパラメトリックで実行可能なスキルを誘導する。 textscScaffoldは、最強のスキル強化ベースラインよりも11.1$--17.2$の絶対ポイントで成功率を改善する。
  論文  参考訳（メタデータ） (2026-08-31T08:16:56Z)
• Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills [21.971456179996093]
  Trace2Skillは、人間の専門家がいかにスキルを作成できるかを反映するフレームワークです。 個々のトラジェクトリにシーケンシャルに反応する代わりに、Trace2Skillは並列なサブエージェント群を派遣して、さまざまな実行プールを分析する。 トラジェクトリ固有のレッスンを抽出し、階層的にそれらをインダクティブ推論を通じて統合され、コンフリクトフリーなスキルディレクトリに集約する。
  論文  参考訳（メタデータ） (2026-03-26T08:26:38Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• Effective and Efficient Federated Tree Learning on Hybrid Data [80.31870543351918]
  本稿では,ハイブリッドデータ上でのフェデレーションツリー学習を可能にする,新しいフェデレーション学習手法であるHybridTreeを提案する。 木に一貫した分割ルールが存在することを観察し、木の下層にパーティの知識を組み込むことができることを示す。 実験により,HybridTreeは計算および通信のオーバーヘッドが低い集中的な設定に匹敵する精度を達成できることを示した。
  論文  参考訳（メタデータ） (2023-10-18T10:28:29Z)
• RLET: A Reinforcement Learning Based Approach for Explainable QA with Entailment Trees [47.745218107037786]
  本稿では,強化学習に基づくEntailment Tree生成フレームワークであるRLETを提案する。 RLETは文の選択と推論生成モジュールによる単一ステップ推論を反復的に行う。 EntailmentBankデータセットの3つの設定の実験では、RLフレームワークを使用することの強みが示されている。
  論文  参考訳（メタデータ） (2022-10-31T06:45:05Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。