論文の概要: BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception
- arxiv url: http://arxiv.org/abs/2609.25891v1
- Date: Tue, 22 Sep 2026 08:57:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.304893
- Title: BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception
- Title（参考訳）: BAS-OPD:細粒多モード知覚のための予算対応オンポリシィ自己蒸留法
- Abstract要約: BAS-OPDは,限られたクエリ予算の下で教師の監督を割り当てる,予算に配慮した選択型OPDフレームワークである。
BAS-OPDは教師の監督コストを大幅に削減しつつ, 高い性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 39.275142281870984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) often struggle with fine-grained visual perception when processing complete images, as critical evidence may only appear in local regions. On-policy self-distillation (OPD) enables transferring privileged visual knowledge from informative views to full-image policies, but querying the teacher for every rollout introduces substantial supervision costs. In this work, we propose BAS-OPD, a budget-aware selective OPD framework that allocates teacher supervision under limited query budgets. Instead of querying all rollouts, BAS-OPD selects informative samples while maintaining full-batch student generation. We explore random, uncertainty-based, and learned utility-based selection strategies, where the learned selector estimates query value from detached rollout statistics and online utility signals derived from student--teacher agreement and teacher confidence without additional student forward passes. BAS-OPD only changes training-time supervision allocation and preserves single-pass full-image inference. Experiments on fine-grained multimodal perception benchmarks demonstrate that BAS-OPD achieves strong performance while substantially reducing teacher supervision costs, highlighting the effectiveness of selective OPD under constrained budgets.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、局所的にのみ重要な証拠が現れるため、完全な画像を処理する際に、細粒度の視覚的知覚に苦しむことが多い。
On-policy Self-distillation (OPD) は、情報的視点からフルイメージポリシーへの特権的な視覚的知識の移行を可能にするが、ロールアウト毎に教師に問い合わせることにはかなりの監督コストが伴う。
本研究では,限られたクエリ予算の下で教師の監督を割り当てる,予算を考慮した選択型OPDフレームワークであるBAS-OPDを提案する。
すべてのロールアウトをクエリする代わりに、BAS-OPDは、フルバッチの学生生成を維持しながら、情報的なサンプルを選択する。
学習者は,教師との合意や教師の信頼感を学生の前進を伴わずに,無作為で不確実で学習したユーティリティベースの選択方略を探索し,学習した選択者が,退学統計やオンラインユーティリティ信号からクエリ値を推定する。
BAS-OPDはトレーニング時間にのみアロケーションを変更し、シングルパスのフルイメージ推論を保存する。
BAS-OPDは教師の監督コストを大幅に削減し, 予算制約下での選択的PDの有効性を強調した。
関連論文リスト
- Latent On-Policy Self-Distillation [55.57800223145407]
On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。
既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。
本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
論文 参考訳（メタデータ） (2026-08-13T10:05:51Z) - REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。
信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
論文 参考訳（メタデータ） (2026-08-12T06:15:33Z) - Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation [7.759584418408814]
On-policy self-distillation (OPSD) は、特権付きコンテキストをモデルパラメータに内部化することにより、LLMの推論能力を向上させる。
ラグランジアンを解くための軽量オンラインアルゴリズムであるUnified On-Policy Self-Distillation (USD)を提案する。
USDは、様々なモデルスケールでOPSDやトークンやPI側のベースラインよりも優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-08-08T15:13:07Z) - TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training [52.6661804966136]
オンライン蒸留(英語版) (OPD) は、生徒自身の軌道上の強い教師と一致することによって、生徒の政策を訓練する。
本研究では, 長期化剤の高効率蒸留のためのターンレベルの予算化戦略であるTurnOPDを提案する。
論文 参考訳（メタデータ） (2026-07-07T03:56:35Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。
SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。
エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2026-06-17T23:58:14Z) - OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing [62.62736813348113]
大規模言語モデルの強化学習は、複雑な推論タスクにおいて深刻な報酬の分散によって妨げられることが多い。
我々は,フロンティア生成論理を教師側の特権的証拠として利用するフレームワークであるOmniOPSDを提案する。
MER-UniBenchの実験では、OmniOPSDは平均スコアが84.19ドルで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2026-06-14T16:51:22Z) - Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。
具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。
我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
論文 参考訳（メタデータ） (2026-05-05T12:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。