論文の概要: Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.22217v1
• Date: Thu, 15 Oct 2026 17:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.206429
• Title: Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models
• Title（参考訳）: 統一ビジョンランゲージモデルのためのスキル分離型オンポリシィエキスパート蒸留
• Abstract要約: 本稿では,スキル分離型オン・ポリシィ・エキスパート蒸留(SCOPED)を提案する。 SCOPEDは有能な専門家を訓練し、報酬誘導反射によって明確なスキルを抽出する。 8つのマルチモーダルベンチマークで、SCOPEDはバックボーンと混合機能RLを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 23.450352923746397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) can elicit specialized visual capabilities in vision-language models (VLMs), yet jointly optimizing heterogeneous objectives often introduces cross-capability gradient conflicts. Training experts independently mitigates this interference, but direct reward optimization may entangle specialized knowledge with reward-hacking biases. This paper proposes Skill-Decoupled On-Policy Expert Distillation (SCOPED), which trains capability-specific experts and extracts explicit skills through reward-guided reflection. During on-policy distillation, these skills guide expert supervision while remaining unavailable to the unified student, encouraging it to internalize procedural knowledge without explicit skills at inference time. Across eight multimodal benchmarks, SCOPED consistently outperforms the backbone and mixed-capability RL, demonstrating the effectiveness of skill-decoupled on-policy expert distillation for integrating independently acquired capabilities. Further analyses reveal interference during joint capability optimization and suggest that skill augmentation promotes more consistent expert trajectories, greater attention to task-relevant visual evidence, and better preservation of specialized expertise in the unified student. All code and data are available at https://github.com/NEUIR/SCOPED.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は視覚言語モデル(VLM)の特殊視覚能力を引き出すことができるが、多種多様な目的を共同で最適化することは、しばしばクロスキャパビリティ・グラデーション・コンフリクトをもたらす。 訓練専門家は独立してこの干渉を緩和するが、直接的な報酬最適化は、報酬に影響を及ぼすバイアスと専門的な知識を結びつける可能性がある。 本稿では,スキル・デカップリング・オン・ポリシィ・エキスパート蒸留(SCOPED)を提案する。 オンライン蒸留の間、これらのスキルは専門家の監督を指導し、統一された学生には利用できないままであり、推論時に明示的なスキルを伴わずに手続き的な知識を内部化することを奨励した。 8つのマルチモーダルベンチマークにおいて、SCOPEDはバックボーンと混合能力のRLを一貫して上回り、独立に獲得した能力を統合するためのスキル分離型オン・ポリシー・エキスパート蒸留の有効性を示す。 さらに, 共同能力最適化における干渉を明らかにするとともに, スキル強化は, より一貫した専門的軌跡, 課題関連視覚的証拠への注意, および, 統合された学生における専門的専門知識の保存を促進することを示唆している。 すべてのコードとデータはhttps://github.com/NEUIR/SCOPED.comで公開されている。

関連論文リスト

• SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection [48.173384811583844]
  エージェント強化学習(RL)により、大規模言語モデルでは、検証可能な結果とのマルチターン相互作用から学習することができる。 SkillScaffoldは、低コストのスキルユーティリティ推定と選択的スキルインジェクションを組み合わせた、ポリシー適応型トレーニングスキャフォールドである。 ALFWorld、WebShop、ScienceWorld、および2ドルのBenchの実験は、強力なエージェントRLとスキルベースのRLベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2026-10-13T17:46:25Z)
• Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents [11.967142343676171]
  自己蒸留と強化学習を組み合わせたBCSD(Bi Context Self-Distillation)を提案する。 ALFWorldとWebShopの実験では、BCSDがモデルスケール全体で最高の全体的なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-08-10T12:53:06Z)
• When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning [70.72643569128316]
  イミテーション学習(Imitation Learning, IL)は、エージェントがデモンストレーションから専門家の行動を再現するように訓練する。 我々は,学習者が専門家の値関数を表現できる場合,統計的に効率的である,インタラクティブなオンラインILアルゴリズムであるOVIを紹介する。 OVIは、オフラインポリシーベース(BC)、インタラクティブポリシーベース(DAgger)、オフライン価値ベースのILメソッドよりも優れており、学習者ネットワークが専門家よりも表現力に乏しい場合に最大である。
  論文  参考訳（メタデータ） (2026-07-31T16:52:47Z)
• Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning [25.966432263031397]
  Skill0.5は、一般的なスキル内部化とタスク固有のスキル利用を組み合わせることで、スキル処理を明確に区別する新しいエージェントRLフレームワークである。 特典蒸留によって一般的なスキルを内包し、ハードタスクの認知基盤を構築すると同時に、ショートカットをペナルティ化し、特定のスキル利用を強制するための簡単なタスクを診断する。 ALFWorldとWebShopの実験では、Skill0.5はメモリベースのRLベースラインとスキルベースのRLベースラインの両方を上回っている。
  論文  参考訳（メタデータ） (2026-05-27T12:54:33Z)
• Co-Evolving Policy Distillation [56.500154041818746]
  Co-Evolving Policy Distillation (CoPD)は専門家の並行トレーニングを促進し、各専門家のRLVRトレーニング中にOPDを導入する。 実験では、CoPDがテキスト、画像、ビデオの推論機能のオールインワン統合を実現することを検証する。
  論文  参考訳（メタデータ） (2026-04-29T18:24:11Z)
• Going Beyond Expert Performance via Deep Implicit Imitation Reinforcement Learning [3.691573844585973]
  本研究では、深層強化学習と観測専用データセットからの暗黙的模倣学習を組み合わせた暗黙的模倣強化学習フレームワークを提案する。 我々の主要なアルゴリズムであるDeep Implicit Q-Network (DIIQN)は、オンライン探索を通じて専門家の行動を再構築するアクション推論機構を採用している。 我々はさらに、専門家とエージェントが異なるアクションセットを持つシナリオに取り組むために、不均一なアクションDIIQN(HA-DIIQN)アルゴリズムでフレームワークを拡張した。
  論文  参考訳（メタデータ） (2025-11-05T16:33:39Z)
• Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts [58.220879689376744]
  強化学習(Reinforcement Learning, RL)は, 優れた政策獲得のための強力なアプローチである。 多様なスキルを学習するための textbfDiverse textbfSkill textbfLearning (Di-SkilL) を提案する。 本稿では,Di-SkilLが多種多様なパフォーマンススキルを学習できるロボットシミュレーションタスクについて述べる。
  論文  参考訳（メタデータ） (2024-03-11T17:49:18Z)
• Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
  与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。 以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。 我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2024-01-08T12:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。