論文の概要: Does Your Generalist Skill Optimizer Really Incentivize Agentic Tasks? Rethinking Skill Optimization via Bipartite Attribution
- arxiv url: http://arxiv.org/abs/2610.37201v1
- Date: Tue, 27 Oct 2026 13:21:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.634868
- Title: Does Your Generalist Skill Optimizer Really Incentivize Agentic Tasks? Rethinking Skill Optimization via Bipartite Attribution
- Title(参考訳): あなたのジェネラリストスキル最適化は本当にエージェントタスクにインセンティブを与えるのか?-二部作によるスキル最適化を再考する
- Abstract要約: BiPAは、そのシードと同一の候補に対するエージェントの受け入れルールをリプレイし、選択のみの報告を計測する。
各エピソードは、追加の入力トークンを追跡するために読み取ったターンとテキストの2部グラフとして記録される。
3つのエージェントベンチマークと2つのモデルで、学習したスキルは手書きのシードと同じ頻度で成功し、平均0.1ポイント高い。
- 参考スコア(独自算出の注目度): 30.594392782493916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Skill optimizers adapt an agent to long-horizon tasks, such as repairing a terminal environment, by rewriting its skill, a natural-language procedure in its context, and keeping the edits that raise success on a small dev set. On such tasks success is noisy, so a gain on a small dev set does not show that an edit helps, and a success score does not show what the edit costs. We introduce BiPA, which replays an optimizer's acceptance rule on candidates identical to its seed to measure what selection alone reports, and records each episode as a bipartite graph of turns and the text they read to trace extra input tokens to the behavior behind them. Across three optimizers, three agentic benchmarks and two models, the learned skills succeed about as often as their hand-written seed, 0.1 points higher on average. Their dev gains vanish on test: keeping the best of several candidates on at most 30 tasks reports gains this large even when none changed. They read about 16% more input tokens: the optimizers almost always add rules, half to re-check work and some to act one call at a time, and the agent follows them as extra turns, each re-sending the whole conversation. Four principles follow: accept an edit only if its gain exceeds what selection alone reports; charge it for the turns it adds, not for its length; let the editor delete and merge rules; show it what earlier rules cost. Code is available at https://github.com/valleysprings/BiPA.git.
- Abstract(参考訳): スキルオプティマイザは、端末環境の修復、そのスキルの書き直し、そのコンテキストにおける自然言語プロシージャ、小さな開発セットで成功を収める編集の維持など、長期的なタスクにエージェントを適応させる。
このようなタスクの成功はノイズが多いため、小さな開発セットでの利益は、編集が役に立つことを示しず、成功スコアは、編集コストを示さない。
BiPAは,各エピソードをターンの2部グラフとして記録し,その背景にある動作に余分な入力トークンをトレースする。
3つのオプティマイザ、3つのエージェントベンチマーク、2つのモデルで、学習したスキルは手書きのシードと同じ頻度で成功し、平均0.1ポイント高い。
数人の候補者のベストを少なくとも30件のタスクレポートに残しておくと、変更がなかったとしても、この大きな成果が得られます。
彼らはさらに16%の入力トークンを読み上げます。オプティマイザは、ほとんど常にルールを追加し、作業を再チェックし、一部は一度に1回の呼び出しを実行し、エージェントはそれらを追加のターンとして追跡し、それぞれが会話全体を再送信する。
4つの原則は以下のとおりである: 編集を受理することは、そのゲインが選択のみの報告を上回る場合に限る; 追加するターンに対して課金する; 長さのためではなく、エディタがルールを削除してマージする; 以前のルールのコストを示す。
コードはhttps://github.com/valleysprings/BiPA.gitで入手できる。
関連論文リスト
- Scalable Minimal-Change Learning for Controllable Image Editing [83.94093358607684]
画像編集は、他のものをすべて保存しながら、命令によって指定された属性だけを変更するべきである。
我々は、この最小変化原理を命令ベースの編集の最適化目的として扱う。
エージェントビジョン言語報酬モデルでは、ソース画像、命令、編集された画像を2つの障害タイプで監査する。
FLUX.1 Kontext-devでは、ARROは平均EditScoreをMinEval、MagicBrush、AnyBench、Emu-Editの5.21から5.88に引き上げている。
論文 参考訳(メタデータ) (2026-10-05T09:18:55Z) - Agent Skill Evolution: How Revisions Affect Coding Agents [14.22442992777441]
我々は、エージェントのハーネスの設定とともに、スキルがどのように進化し、どのように変化するかを特徴付ける。
ほとんどのリビジョン(55%)はルールやプロシージャを変更し、CLAUDE.mdのようなスキル変更ファイルを同じサイズの他のコミットよりも頻繁に修正するコミットである。
修正では、単一の回答に18-19%の入力トークンを追加し、エージェントエピソードには検出可能なコストがかからない一方で、スキル本体をロードすると、エピソードのトークンが平均50%上昇する。
論文 参考訳(メタデータ) (2026-10-04T00:33:46Z) - SAGE: A Statistical Acceptance Gate for Self-Evolving Agents [17.727663090075463]
自己進化型エージェント(SAGE)の統計的受容ゲートを提案する。
SAGEはベースラインの編集のサブセットのみをコミットし、利得が信頼できないものや、壊れたアイテムによって購入されるものをフィルタリングする。
全20セットで最高得点を記録し、LiveMathは34.15から48.78に上昇した。
論文 参考訳(メタデータ) (2026-09-28T18:07:45Z) - RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
正規化再帰的自己改善型エージェント・ハーネス(RRSI)
本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。
RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
論文 参考訳(メタデータ) (2026-09-21T17:54:49Z) - Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。
このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。
このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
論文 参考訳(メタデータ) (2026-07-20T15:32:09Z) - SkillOpt: Executive Strategy for Self-Evolving Agent Skills [39.94802218531371]
SkillOptはエージェントスキルのためのコントロール可能なテキストスペースである。
別々のモデルでは、スコアの付いたロールアウトを1つのスキルドキュメントのバウンダリされた追加/削除/リプレースに切り替える。
学習速度の予算、拒否編集バッファ、エポックワイド/メタアップデートは、スキルトレーニングを安定させる。
論文 参考訳(メタデータ) (2026-05-22T17:59:50Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳(メタデータ) (2026-04-26T16:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。