論文の概要: From Relevance to Execution Utility: Reward-Aware Dynamic Execution Gating for Skill-Based LLM Agents

• arxiv url: http://arxiv.org/abs/2608.09168v1
• Date: Mon, 10 Aug 2026 06:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.104285
• Title: From Relevance to Execution Utility: Reward-Aware Dynamic Execution Gating for Skill-Based LLM Agents
• Title（参考訳）: 技能ベースLSMエージェントにおけるリワード対応動的実行ゲーティングの関連性から実行ユーティリティへ
• Abstract要約: Reward-Aware Dynamic Execution Gate (RADEG) は、スキル検索とエージェント実行の間の軽量でレトリバーに依存しない決定層である。 RADEGは、高価なロールアウトを開始する前にクエリ-バンドルペアの実行ユーティリティを予測する、低コストのサロゲートモデルを学ぶ。 さまざまな実行予算に対して、関連性ベースとランダムなゲーティングを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 13.650750377323567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent skills are increasingly used to equip large language model (LLM) agents with reusable procedural knowledge. Although recent work has substantially improved skill retrieval due to the increasing skill libraries, retrieving a plausible skill bundle does not guarantee that executing it is worthwhile. Since every skill-conditioned rollout is computationally expensive, deciding whether a retrieved bundle should be executed has become an increasingly important challenge. To this end, we introduce the Reward-Aware Dynamic Execution Gate (RADEG), a lightweight, retriever-agnostic decision layer between skill retrieval and agent execution. RADEG learns a low-cost surrogate model that predicts the execution utility of a query--bundle pair before the expensive rollout is launched. To obtain informative supervision while controlling for task difficulty, we locally perturb each retrieved bundle by deleting, adding, or replacing one skill, producing matched same-query rollouts that isolate the effect of bundle composition on verifier reward. During deployment, RADEG updates only a warm-started logistic head as new verifier feedback becomes available, enabling inexpensive adaptation of the execute/skip boundary without retraining either the retriever or the agent. Under a query-level held-out evaluation on 288 collected rollouts, RADEG substantially reduces unnecessary agent executions while preserving a large fraction of the downstream verifier reward. It consistently outperforms relevance-based and random gating across different execution budgets, demonstrating that execution-aware surrogate modeling provides a practical and cost-effective complement to skill retrieval.
• Abstract（参考訳）: エージェントスキルは、大きな言語モデル(LLM)エージェントに再利用可能な手続き的知識を持たせるために、ますます使われている。 最近の研究は、スキルライブラリの増加により、スキル検索を大幅に改善しているが、実行可能なスキルバンドルを取得することは、それを実行する価値があることを保証していない。 すべてのスキル条件のロールアウトは計算コストがかかるため、検索したバンドルを実行するかどうかを判断することがますます重要な課題となっている。 そこで,本研究では,Reward-Aware Dynamic Execution Gate (RADEG)を紹介した。 RADEGは、高価なロールアウトを開始する前にクエリ-バンドルペアの実行ユーティリティを予測する、低コストのサロゲートモデルを学ぶ。 課題の難易度を制御しながら情報的監視を実現するため,各回収したバンドルを1つのスキルの削除,追加,置き換えによって局所的に摂動し,バンドル構成が検証者報酬に与える影響を分離する一致した同列ロールアウトを生成した。 RADEGは、新しいバリデーションフィードバックが利用可能になるにつれて、暖かくスタートしたロジスティックヘッドのみを更新し、レトリバーまたはエージェントをリトレーニングすることなく、実行/スキップ境界の安価な適応を可能にする。 288個の収集ロールアウトに対するクエリレベルのホールドアウト評価の下で、RADEGは、下流検証者の報酬のかなりの部分を保持しながら、不要なエージェントの実行を大幅に削減する。 関連性に基づくランダムなゲーティングは、さまざまな実行予算において一貫して優れており、実行に意識した代理モデリングが、スキル検索の実用的でコスト効率の良い補完となることを実証している。

関連論文リスト

• EASy: Towards Efficient LLM-Based Agentic System [54.10819421625103]
  強化学習によるタスク性能と計算効率を協調的に最適化する訓練可能なエージェントフレームワークであるEASyを提案する。 EASyはLLMベースのオーケストレータに異種エグゼキュータの能力とコストプロファイルを明確に把握し、パフォーマンスのみのルーティング以上のコンテキスト依存的な調整を可能にする。 さらに、複雑なタスクを管理可能なマイルストーンに分解し、依存性を意識した実行グラフを構築し、適切なエグゼキュータを割り当て、その後の決定を中間的な結果に適用しながら、独立したステップを並列化するマイルストーン計画実行ワークフローも導入されている。
  論文  参考訳（メタデータ） (2026-08-05T08:50:36Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Hypothesis-Driven Skill Optimization for LLM Agents [2.716362160018478]
  そこで本研究では,スキルキュレーターとエージェントエグゼキュータの両方を凍結推論エンドポイントとする,フリートレインフレームワークを提案する。 ALFWorldでは、Qwen3.6-27Bで+6.9 SRポイント、Qwen3.6-27Bで+4.0ポイントの改善がなされている。
  論文  参考訳（メタデータ） (2026-06-21T04:43:20Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Utility-Guided Agent Orchestration for Efficient LLM Tool Use [24.97962970486756]
  エージェントオーケストレーションを明示的な決定問題として研究する。 本稿では、応答、検索、ツール呼び出し、検証、停止などのアクションの中から選択するユーティリティ誘導オーケストレーションポリシーを提案する。
  論文  参考訳（メタデータ） (2026-03-20T12:29:12Z)
• When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making [68.12864562049957]
  身体ロボットシステムは、高レベルの推論をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。 エージェントはいつ、いつ、いつ行動すべきか? 本稿では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:38:50Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。