論文の概要: RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2607.24447v1
• Date: Mon, 27 Jul 2026 13:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.448274
• Title: RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models
• Title（参考訳）: RP-OPSD:マルチモーダル大言語モデルのための高分解能オンデマンド自己蒸留
• Abstract要約: On-Policy Self-Distillation (OPSD)は、教師にのみ利用可能な特権情報を使用して、学生が生み出すトラジェクトリのトークンレベルを集中的に管理する。 RP-OPSD(Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models)を提案する。
• 参考スコア（独自算出の注目度）: 31.989048388934094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-Policy Self-Distillation (OPSD) uses privileged information available only to the teacher to provide dense token-level supervision on trajectories generated by the student. However, existing methods often rely on verified solution traces, explanations generated by external models, or manually localized visual evidence, which limits their scalable application to multimodal large language models. To address this issue, we exploit the information gap between high- and low-resolution views of the same image and propose RP-OPSD (Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models). During training, the student policy generates on-policy trajectories from images at one-quarter of the original resolution, while the teacher policy provides supervision using the original-resolution images. By minimizing the divergence between their output distributions along the student trajectories, the student learns the predictive behavior of the teacher under high-resolution inputs, thereby strengthening its low-resolution capability and transferring the learned improvement to original-resolution inference. RP-OPSD requires neither additional human annotations nor external models to generate solution traces but only image--question pairs. Experiments on Qwen3.5-9B show that RP-OPSD achieves a 5.45\% relative improvement in average performance at the original resolution and a $1.78\times$ training speedup over OPSD. These results demonstrate that resolution differences can serve as a simple and scalable source of privileged information, providing an effective and efficient approach to on-policy self-distillation for multimodal large language models.
• Abstract（参考訳）: On-Policy Self-Distillation (OPSD)は、教師にのみ利用可能な特権情報を使用して、学生が生み出すトラジェクトリのトークンレベルを集中的に管理する。 しかしながら、既存の手法は、しばしば、検証されたソリューショントレース、外部モデルによって生成された説明、手動で局所化された視覚的エビデンスに依存し、スケーラブルなアプリケーションをマルチモーダルな大規模言語モデルに制限する。 この問題に対処するために、同一画像の高解像度と低解像度のビュー間の情報ギャップを利用して、RP-OPSD(Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models)を提案する。 授業中、学生政策は、オリジナルの解像度の4分の1のイメージから、オンライントラジェクトリを生成する一方、教師政策は、オリジナルの解像度画像を使用して監督を行う。 学生軌跡に沿った出力分布のばらつきを最小化することにより、生徒は高解像度入力下で教師の予測挙動を学習し、低解像度能力を強化し、学習した改善を原解像度推論に転送する。 RP-OPSDは、ソリューショントレースを生成するために追加のヒューマンアノテーションや外部モデルを必要としないが、イメージ検索ペアのみを必要とする。 Qwen3.5-9Bの実験では、RP-OPSDはオリジナルの解像度での平均性能を5.45倍改善し、OPSDよりも1.78倍のトレーニングスピードアップを達成した。 これらの結果から,多モーダルな大規模言語モデルにおいて,解像度差は簡易かつスケーラブルな特権情報の情報源として有効であることを示す。

関連論文リスト

• OPD-V: Visual On-Policy Self-Distillation with Modality Balance [60.972871141106886]
  On-Policy Self-Distillation (OPSD)は、大規模言語モデル(MLLM)における視覚的推論を改善するための訓練後の標準的なアプローチとなっている。 既存の方法は、様々な入力源から特権情報を引き出し、自己蒸留を誘導する。 我々は,視覚的OPSDパラダイムであるOPD-Vを紹介し,正の教師と負の教師を通してそのような情報をインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-05T17:53:06Z)
• On-Policy and Off-Policy Learning for Large Action Spaces [2.995087247817663]
  この論文は、エージェントがコンテキストを観察し、非常に大きなセットからアクションを選択し、部分的なフィードバックを受け取る、インタラクティブなシステムにおけるポリシー学習を研究する。 メインのフレームワークは、環境と順次対話し、後悔を最小限に抑えるオンライン学習と、ロギングポリシによって収集されたログデータから学習するオフライン学習の2つのパラダイムである。
  論文  参考訳（メタデータ） (2026-07-30T15:56:11Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation [71.92541392470103]
  MLLM(Multimodal Large Language Models)は、細かな視覚的理解に苦慮している。 地域間自己蒸留フレームワークであるビジョンOPD(Vision On-Policy Distillation)を提案する。 Vision-OPDは同じMLLMから2つの条件ポリシーをインスタンス化する。
  論文  参考訳（メタデータ） (2026-05-18T17:57:04Z)
• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)
• Reinforce LLM Reasoning through Multi-Agent Reflection [8.088795955922656]
  DPSDPは,自己生成データを直接選好学習することで,アクタクリティカルなLLMシステムを反復的に洗練する強化学習アルゴリズムである。 理論的には、DPSDPはトレーニング分布内の任意のポリシーのパフォーマンスと一致させることができる。 例えば、ベンチマークMATH 500では、5つの改良ステップ以上の多数投票がミニストラーモデルで第1回投票の精度を58.2%から63.2%に向上させた。
  論文  参考訳（メタデータ） (2025-06-10T02:43:47Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
  本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。 いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
  論文  参考訳（メタデータ） (2021-09-14T12:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。