論文の概要: Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback
- arxiv url: http://arxiv.org/abs/2608.17587v1
- Date: Tue, 18 Aug 2026 09:52:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.298072
- Title: Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback
- Title（参考訳）: 書き込み、実行、リファイン:実行フィードバックからの強化学習によるスキルフォロワからスキルオプティマイザへ
- Abstract要約: 専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
- 参考スコア（独自算出の注目度）: 52.78692582507693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expert-written natural language skills can improve tool-using agents, yet agent-authored skills perform 8-11 points worse than using no skill. This gap suggests that following procedural guidance and improving it from execution evidence are distinct capabilities. Inference time loops can repair skills but do not improve the model that writes the next one. We study how to organize execution experience from intermediate skills into training states for an optimizer. We introduce WER (Write, Execute, and Refine), a multi-phase framework that trains a Skill Optimizer outside a frozen executor. The optimizer proposes skills, a frozen agent executes each repeatedly, and a programmatic verifier scores the outcomes. The scores provide relative credit and select mixed-outcome records. Matched successful and failed trajectories from these records form the next phase's refinement states, so the optimizer learns from the consequences of its earlier outputs. On BFCL v4 multi-turn and tau2-bench, WER improves average Pass@1 over the no-skill baseline by 7.80 and 3.85 points, respectively. Under an identical refinement workflow, it outperforms the same backbone without optimizer training by 9.35 and 10.29 points. The trained 4B optimizer reaches 76.63 percent on BFCL v4, outperforming all evaluated off-the-shelf general-purpose models used as skill optimizers on average.
- Abstract（参考訳）: 専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
このギャップは、手続き的なガイダンスに従い、実行証拠から改善することが、異なる能力であることを示唆している。
推論時間ループは、スキルを修復できるが、次に書くモデルを改善しない。
本研究では,中間的スキルからオプティマイザのトレーニング状態への実行経験の整理方法について検討する。
We introduced WER (Write, Execute, and Refine) a multi-phase framework that training a Skill Optimizer outside a frozen executor。
最適化者がスキルを提案し、凍結したエージェントが繰り返し実行し、プログラム検証器が結果をスコアする。
スコアは相対クレジットを提供し、混合アウトカムレコードを選択する。
これらのレコードの軌道と一致し、失敗した軌道は次のフェーズの洗練状態を形成するため、オプティマイザは初期の出力の結果から学習する。
BFCL v4 マルチターンと tau2-ベンチでは、WER はノスキルベースライン上の平均 Pass@1 をそれぞれ 7.80 と 3.85 の点で改善している。
同じ改良ワークフローの下では、オプティマイザのトレーニングを9.35点と10.29点で行うことなく、同じバックボーンを上回っている。
訓練された4Bオプティマイザは、BFCL v4で76.63パーセントに達し、平均してスキルオプティマイザとして使用される市販の汎用モデルよりも優れていた。
関連論文リスト
- COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization [55.60171725587438]
大規模言語モデル(LLM)エージェントは、以前のタスク経験から抽出した再利用可能なスキルの恩恵を受けることができる。
既存のスキル最適化手法は、コストのかかる実行ベースの評価と実質的なタスクデータに依存していることが多い。
動的に進化する候補空間上での予算付き逐次最適化としてスキル最適化を定式化する効率的なフレームワークである textbfCOBRA-Skills を導入する。
論文 参考訳（メタデータ） (2026-09-10T15:12:24Z) - Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。
スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。
本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
論文 参考訳（メタデータ） (2026-08-05T17:57:16Z) - RLPF: Reinforcement Learning from Performance Feedback for Code Generation [44.39557506834191]
評価基準としてのみ効率性を扱うのではなく、より高速な実装を好むようにコードエージェントを訓練する方法を研究する。
本稿では,パフォーマンスフィードバックからの強化学習である textbfRLPF を提案する。
PerfCodeBench の RLPF による微調整 Qwen3-32B は,修正および実行可能なソリューションを 11.1% から 54.6% に引き上げる。
論文 参考訳（メタデータ） (2026-07-29T11:39:55Z) - Not All Skills Help: Measuring and Repairing Agent Knowledge [47.498075849595374]
ASSAYは、生成をキュレーションから分離するフレームワークである。
スキルごとの因果属性を小さな開発セットで計算する。
ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
論文 参考訳（メタデータ） (2026-06-13T16:37:38Z) - SkillsInjector: Dynamic Skill Context Construction for LLM Agents [16.631471381875816]
既存の方法では、静的なステップとしてスキルインジェクションを扱い、一定の基準でスキルを選択し、事前に予算を固定し、説明をそのまま残します。
本稿では,これらの決定に共同で対処する2段階適応手法であるSkillsInjectorを提案する。
Tau2-bench、SkillsBench、ALFWorldで、SkillsInjectorは最強のベースラインを3.9点、6.1点、7.3ポイント改善した。
論文 参考訳（メタデータ） (2026-05-28T11:44:32Z) - SkillOpt: Executive Strategy for Self-Evolving Agent Skills [39.94802218531371]
SkillOptはエージェントスキルのためのコントロール可能なテキストスペースである。
別々のモデルでは、スコアの付いたロールアウトを1つのスキルドキュメントのバウンダリされた追加/削除/リプレースに切り替える。
学習速度の予算、拒否編集バッファ、エポックワイド/メタアップデートは、スキルトレーニングを安定させる。
論文 参考訳（メタデータ） (2026-05-22T17:59:50Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳（メタデータ） (2026-05-10T06:19:15Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - EffiSkill: Agent Skill Based Automated Code Efficiency Optimization [18.68243664364758]
EffiSkillは、LCMベースのエージェントのためのポータブルな最適化ツールボックスを構築する、コード効率最適化のためのフレームワークである。
EffiSkillは2段階の設計を採用しており、Stage IはOperatorとMeta Skillsを大規模で遅いプログラムペアからマイニングし、スキルライブラリを構築する。
ステージIIはこのライブラリを、実行不要の診断、スキル検索、計画構成、候補生成を通じて、未確認プログラムに適用する。
論文 参考訳（メタデータ） (2026-03-29T20:09:57Z) - Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。
人口ベーストレーニングの形式は、この自己学習の組織化に使用される。
このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
論文 参考訳（メタデータ） (2021-01-14T19:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。