論文の概要: Learning What to Activate: Combinatorial Capability Allocation for Long-Horizon Multimodal Agents

• arxiv url: http://arxiv.org/abs/2609.27869v1
• Date: Thu, 20 Aug 2026 13:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.999461
• Title: Learning What to Activate: Combinatorial Capability Allocation for Long-Horizon Multimodal Agents
• Title（参考訳）: 活性化すべきことを学習する:長期マルチモーダルエージェントの組合せ能力割当
• Abstract要約: ロングホライゾンのマルチモーダルエージェントは、知覚、検索、推論、検証、実行のための特別な能力に依存している。 既存の設計は、通常、固定された機能セットを起動するか、事前に定義されたワークフローを起動し、かなりの計算オーバーヘッドを発生させる。 スパース条件比較から,デプロイ可能な機能-サブセットポリシを回復するオンライン学習フレームワークであるtextscCoCAを紹介する。
• 参考スコア（独自算出の注目度）: 9.100664015233678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon multimodal agents rely on specialized capabilities for perception, retrieval, reasoning, verification, and execution. Existing designs typically activate a fixed capability set or invoke a predefined workflow, incurring substantial computational overhead while failing to accommodate stage-dependent capability demands. In this paper, we study the \textit{combinatorial capability allocation} problem for long-horizon multimodal agent systems, where the system selects a cost-sensitive subset of specialized capabilities at each interaction stage, which is nontrivial since capability values depend on the selected subset, while previous allocations alter the states encountered by subsequent decisions. We introduce \textsc{CoCA}, an on-policy learning framework that recovers a deployable capability-subset policy from sparse conditional comparisons. On states visited by the student policy, the stronger teacher compares the marginal net values of candidate capabilities, conditioned on the currently selected subset. Then, we adopt a conditional utility model to transform such comparisons into an autoregressive capability-subset policy, avoiding explicit enumeration. We further introduce dual-level on-policy distillation to address distribution mismatch both across environment states and within the partial subsets encountered during set construction. Finally, trajectory-level reinforcement learning refines the distilled policy toward task success, activation cost, and allocation stability. At inference time, allocation is performed solely by the lightweight student policy without teacher queries or online updates. Experiments on long-horizon multimodal environments and controlled capability-demand shifts demonstrate the superiority of our method over the state-of-the-art baseline methods.
• Abstract（参考訳）: ロングホライゾンのマルチモーダルエージェントは、知覚、検索、推論、検証、実行のための特別な能力に依存している。 既存の設計は、通常、固定機能セットを起動するか、事前に定義されたワークフローを起動し、ステージ依存の能力要求を満たさないまま、かなりの計算オーバーヘッドを発生させる。 本稿では, 長期マルチモーダルエージェントシステムにおけるtextit{combinatorial capabilities allocation} 問題について検討し, 各インタラクション段階において, 機能値が選択されたサブセットに依存しているため, システム側がコストに敏感な機能サブセットを選択する。 本稿では,スパース条件比較からデプロイ可能な機能-サブセットポリシを回復するオンライン学習フレームワークである‘textsc{CoCA} を紹介する。 学生政策によって訪れた国では、より強い教師は、現在選択されているサブセットに条件付きで、候補者能力の限界値と比較する。 そこで,本稿では,条件付きユーティリティモデルを用いて,これらの比較を自動回帰能力-サブセットポリシに変換する。 さらに, 環境状態と設定構成中に発生する部分部分集合の両方の分布ミスマッチに対処するために, 二重レベルオンライン蒸留を導入する。 最後に、軌道レベルの強化学習は、タスク成功、アクティベーションコスト、アロケーション安定性に対する蒸留政策を洗練させる。 推論時には、教師の問い合わせやオンライン更新なしに、軽量な学生ポリシーによってのみアロケーションが行われる。 長期のマルチモーダル環境と制御能力-要求シフトの実験は、最先端のベースライン法よりも本手法の方が優れていることを示す。

関連論文リスト

• AIPO: Learning to Reason from Active Interaction [54.10819421625103]
  AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。 AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
  論文  参考訳（メタデータ） (2026-05-08T19:06:55Z)
• Lever: Inference-Time Policy Reuse under Support Constraints [8.884389224195912]
  強化学習 (Reinforcement Learning, RL) の方針は、通常、一定の目的のために訓練され、タスク要求が変化すると再利用が困難になる。 事前学習されたポリシーのライブラリと新しい複合的な目的を前提に、高品質なポリシーを追加の環境相互作用なしに完全にオフラインで構築できるのか? 我々は、関連するポリシーを検索し、行動埋め込みを用いてそれらを評価し、オフラインQ値合成を介して新しいポリシーを構成する、エンドツーエンドのフレームワークであるleverを紹介した。
  論文  参考訳（メタデータ） (2026-04-22T04:28:45Z)
• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• Scalable In-Context Q-Learning [68.9917436397079]
  textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。 textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
  論文  参考訳（メタデータ） (2025-06-02T04:21:56Z)
• Co-learning Planning and Control Policies Constrained by Differentiable Logic Specifications [4.12484724941528]
  本稿では,高次元ロボットナビゲーションタスクを解くための新しい強化学習手法を提案する。 既存の強化学習アルゴリズムと比較して、より少ないサンプルで高品質なポリシーを訓練する。 提案手法は,高次元制御と政策アライメントによる準最適政策の回避にも有効である。
  論文  参考訳（メタデータ） (2023-03-02T15:24:24Z)
• A Prescriptive Dirichlet Power Allocation Policy with Deep Reinforcement Learning [6.003234406806134]
  本研究では,連続的なアロケーションタスクに対するディリクレポリシを提案し,そのポリシー勾配のバイアスと分散を分析した。 ディリクレポリシはバイアスフリーであり,ガウス-ソフトマックスポリシよりもはるかに高速な収束と性能を提供することを示した。 実験の結果, 最適動作を規定し, 多出力電源システムの効率と持続可能性を向上させる可能性が示された。
  論文  参考訳（メタデータ） (2022-01-20T20:41:04Z)
• Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates [63.58053355357644]
  そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。 理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
  論文  参考訳（メタデータ） (2021-12-30T12:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。