論文の概要: SkillRubric: Co-Evolving Actor Guidance and Evaluator Rubrics for Multimodal Agents
- arxiv url: http://arxiv.org/abs/2609.34557v1
- Date: Mon, 28 Sep 2026 08:14:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 12:29:50.719207
- Title: SkillRubric: Co-Evolving Actor Guidance and Evaluator Rubrics for Multimodal Agents
- Title(参考訳): SkillRubric:マルチモーダルエージェントのためのアクターガイダンスと評価器の併用
- Abstract要約: SkillRubricを導入し、アクター向けガイダンスと評価器向けルーブリックを用いて各スキルを表現した。
マルチモーダル検証器は、スクリーンショットとツールアウトプットを使用してスキル定義目標を評価し、完了と進捗の報酬を責任あるターンに割り当てる。
多様なマルチモーダルエージェントベンチマークによる実験は、一貫したパフォーマンス向上を示す。
- 参考スコア(独自算出の注目度): 36.892034513729804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work incorporates reusable skills distilled from past interactions into multimodal agent training, providing procedural guidance for long-horizon planning and tool use. However, policy optimization in these methods remains driven primarily by sparse outcome rewards, providing little supervision for intermediate decisions. Rubric-based rewards address this limitation through explicit intermediate criteria, but reliable rubrics are difficult to construct at scale and often disconnected from the procedure followed by the actor. We observe that a well-structured skill naturally specifies both how to act and what successful execution should achieve. Based on this insight, we introduce SkillRubric, which represents each skill through aligned actor-facing guidance and an evaluator-facing rubric. A multimodal verifier evaluates skill-defined goals using screenshots and tool outputs, assigning completion and progress rewards to the responsible turns. We further introduce an alternating co-evolution scheme that validates guidance revisions through paired rollouts under a frozen policy and rubric revisions offline under fixed guidance. Experiments across diverse multimodal agent benchmarks demonstrate consistent performance gains, while controlled paired rollouts further show that evolved skills provide more effective guidance for planning and tool use than their preceding versions.
- Abstract(参考訳): 最近の研究は、過去のインタラクションから蒸留した再利用可能なスキルをマルチモーダルエージェントトレーニングに取り入れ、長期計画とツール使用のための手続き的なガイダンスを提供している。
しかし、これらの手法の政策最適化は、主に粗末な結果報酬によって推進され、中間的な決定をほとんど監督しない。
ルーブリックベースの報酬は、明示的な中間基準によってこの制限に対処するが、信頼性の高いルーブリックは大規模な構築が困難であり、しばしば手順から切り離され、アクターが続く。
十分に構造化されたスキルは、行動の仕方と、実行が成功するべきことの両方を自然に特定します。
そこで本研究では,アクター対応指導と評価器対応ルーブリックを用いて,各スキルを表現するSkillRubricを紹介した。
マルチモーダル検証器は、スクリーンショットとツールアウトプットを使用してスキル定義目標を評価し、完了と進捗の報酬を責任あるターンに割り当てる。
さらに、凍結されたポリシーの下でのペアロールアウトによるガイダンス修正と、固定されたガイダンス下でのルーリックリビジョンをオフラインで検証する交代的共進化方式を導入する。
多様なマルチモーダルエージェントベンチマークによる実験は、一貫したパフォーマンス向上を示す一方で、制御されたペアリングロールアウトは、進化したスキルが、以前のバージョンよりも計画とツール使用の効果的なガイダンスを提供することを示している。
関連論文リスト
- PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。
SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
論文 参考訳(メタデータ) (2026-08-02T11:00:04Z) - SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills [31.23929961213889]
大規模言語モデル(LLM)エージェントは、現実世界のタスクを解きながら豊富なエピソード軌道を蓄積する。
SkillEvolBenchは、経験の再利用からスキル形成まで、このステップを評価するための診断ベンチマークである。
現在のエージェントは、しばしばローカルに適応するが、堅牢な再利用可能なスキルを形成することは滅多にない。
論文 参考訳(メタデータ) (2026-05-22T18:23:31Z) - Adaptor: Advancing Assistive Teleoperation with Few-Shot Learning and Cross-Operator Generalization [26.90003783245582]
Adaptorは、堅牢なクロスオペレーターインテント認識のためのフレームワークである。
ドメインギャップを、前処理とポリシー学習という2つの段階にブリッジする。
最先端のパフォーマンスを実現し、成功率とベースラインよりも効率を向上します。
論文 参考訳(メタデータ) (2026-04-10T16:19:43Z) - A Unified Multi-Task Learning Framework for Generative Auto-Bidding with Validation-Aligned Optimization [51.27959658504722]
マルチタスク学習は、これらのタスクを共有表現を通じて共同でトレーニングするための、原則化されたフレームワークを提供する。
既存のマルチタスク最適化戦略は、主にトレーニングダイナミクスによって導かれ、不安定な入札環境ではよく一般化される。
本稿では,タスク毎のトレーニング勾配と保留有効度勾配のアライメントに基づいてタスク重みを適応的に割り当てる,バリデーション適応型マルチタスク最適化(VAMO)を提案する。
論文 参考訳(メタデータ) (2025-10-09T03:59:51Z) - From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳(メタデータ) (2024-11-06T10:35:11Z) - Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。
3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
論文 参考訳(メタデータ) (2024-06-17T03:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。