論文の概要: Branch2Skill: Efficient Skill Evolution Through Reasoning Trees
- arxiv url: http://arxiv.org/abs/2608.08677v1
- Date: Sun, 09 Aug 2026 12:48:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.914458
- Title: Branch2Skill: Efficient Skill Evolution Through Reasoning Trees
- Title（参考訳）: Branch2Skill: 木を推論することで効率よくスキルを進化させる
- Abstract要約: Branch2Skillは、単一の推論ツリーを、スキル進化のための密集した監視に変換する、効率的なフレームワークである。
スキル進化効率を高めながら、タスクパフォーマンスを継続的に改善する。
例えば、GPT 5.5をターゲットモデルとして、Branch2SkillはSkillOptよりも73.2%少ないトークンを使用し、優れたパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 41.10314331822465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Skill evolution improves agent skills through feedback over time, with failed trajectories often providing informative signals by revealing incomplete or misleading behaviors. However, existing methods mainly rely on single trajectories, where early reasoning errors can propagate through subsequent steps and weaken the feedback available for skill refinement. Consequently, improving skills requires repeated cycles of rollout, diagnosis, and update, incurring substantial token costs. To address this challenge, we introduce Branch2Skill, an efficient framework that transforms a single reasoning tree into dense supervision for skill evolution. For each task or problem, Branch2Skill performs Monte Carlo tree search under a fixed budget to obtain diverse reasoning trajectories, then compares an elite path with sibling alternatives sharing the same prefixes to extract step-wise evidence about which reasoning patterns to retain, revise, or avoid. Finally, Branch2Skill distills multi-step evidence into reusable updates, allowing one reasoning tree to provide supervision across multiple reasoning steps and reducing the need for repeated rollout-update cycles. Across six benchmarks covering reasoning and agentic tasks, Branch2Skill consistently improves task performance while enhancing skill evolution efficiency. For example, with GPT 5.5 as the target model, Branch2Skill uses 73.2% fewer tokens than SkillOpt, while achieving superior performance. These results demonstrate that reasoning trees can support not only more effective trajectory search, but also richer supervision for more efficient skill improvement. Code will be published.
- Abstract（参考訳）: スキルの進化は時間の経過とともにエージェントのスキルを改善するが、失敗する軌道はしばしば不完全な行動や誤解を招く行動を明らかにすることで情報的信号を提供する。
しかし、既存の手法は主に単一軌道に依存しており、初期の推論エラーはその後のステップを通じて伝播し、スキルの洗練のために利用可能なフィードバックを弱めることができる。
その結果、スキル向上にはロールアウト、診断、更新を繰り返し、相当なトークンコストを発生させる必要がある。
この課題に対処するために、単一の推論ツリーを、スキル進化のための厳密な監視に変換する効率的なフレームワークであるBranch2Skillを紹介します。
それぞれのタスクや問題に対して、ブランチ2スキルはモンテカルロ木探索を行い、様々な推論軌跡を得る。その後、エリートパスを同じ接頭辞を共有する兄弟の代替手段と比較し、どの推論パターンを保持、修正、回避するステップワイズな証拠を抽出する。
最後に、ブランチ2スキルは、複数ステップのエビデンスを再利用可能な更新に蒸留し、1つの推論ツリーが複数の推論ステップをまたいだ監視を提供し、繰り返しロールアウト更新サイクルの必要性を減らす。
推論とエージェントタスクをカバーする6つのベンチマークで、Branch2Skillは一貫してタスクパフォーマンスを改善し、スキルの進化効率を向上させる。
例えば、GPT 5.5をターゲットモデルとして、Branch2SkillはSkillOptよりも73.2%少ないトークンを使用し、優れたパフォーマンスを実現している。
これらの結果は、推論木がより効果的な軌道探索を支援するだけでなく、より効率的な技術向上のためのよりリッチな監督を支援することを示している。
コードは公開されます。
関連論文リスト
- SkillAdam: Stable and Efficient Skill Evolution for Agents [27.073611429416303]
エージェントスキルは、凍結した言語モデルエージェントにドメイン知識と手続き的ガイダンスを与えるための軽量な方法を提供するが、高品質なスキルを得るにはコストがかかり、スケールが難しい。
最近のスキル自己進化手法は、実行フィードバックを使ってスキルを更新する反復ループを自動化するが、その更新戦略は不安定な最適化と低いイテレーション効率をもたらすことが多い。
我々はAdamにインスパイアされたSkillAdamを紹介した。
論文 参考訳（メタデータ） (2026-09-08T16:04:45Z) - Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
論文 参考訳（メタデータ） (2026-08-18T09:52:48Z) - Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。
スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。
本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
論文 参考訳（メタデータ） (2026-08-05T17:57:16Z) - MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution [24.78476085778134]
自己改善エージェントは、実行トレースから自身のスキルファイルを書き換えることで、この問題に対処する。
MetaSkill-Evolveはエージェントスキルの改善を再帰的に行う2段階のフレームワークである。
タスクスキルは高速ループで進化し、メタスキルは自分自身に適用される同じパイプラインの下で遅いループで進化する。
5つのパイプラインエージェントが1つの凍結バックボーンを共有しているため、MetaSkill-Evolveは、ノスキル、スタティックスキル、シングルレベルの進化ベースラインよりも優れています。
論文 参考訳（メタデータ） (2026-07-06T16:40:23Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillCAT: Contrastive Assessment and Topology-Aware Skill Self-Evolution for LLM Agents [42.30624901249764]
現在のパイプラインはタスク毎の1つのトラックから学び、チェックする前に候補スキルパッチをマージし、推論前にフルスキルコーパスをロードする。
トレーニング不要のフレームワークであるSkillCATを提案し,このプロセスを3段階に分けた。
SpreadsheetBench,WikiTableQuestions,DocVQAなど,一般的なエージェントベンチマーク上でSkillCATを評価する。
論文 参考訳（メタデータ） (2026-06-11T13:12:10Z) - Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills [21.971456179996093]
Trace2Skillは、人間の専門家がいかにスキルを作成できるかを反映するフレームワークです。
個々のトラジェクトリにシーケンシャルに反応する代わりに、Trace2Skillは並列なサブエージェント群を派遣して、さまざまな実行プールを分析する。
トラジェクトリ固有のレッスンを抽出し、階層的にそれらをインダクティブ推論を通じて統合され、コンフリクトフリーなスキルディレクトリに集約する。
論文 参考訳（メタデータ） (2026-03-26T08:26:38Z) - SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。
本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。
ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-02-09T03:17:17Z) - Structured Reasoning for Large Language Models [59.215789462977206]
本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。
SCRは推論効率と自己検証を大幅に改善する。
既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
論文 参考訳（メタデータ） (2026-01-12T04:04:01Z) - Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。
本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。
本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
論文 参考訳（メタデータ） (2026-01-08T15:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。