論文の概要: Teach with Blinks: Breaking Linguistic Momentum in On-Policy Distillation for Fine-Grained Multimodal Perception
- arxiv url: http://arxiv.org/abs/2611.16402v1
- Date: Thu, 12 Nov 2026 07:11:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.38458
- Title: Teach with Blinks: Breaking Linguistic Momentum in On-Policy Distillation for Fine-Grained Multimodal Perception
- Title(参考訳): リンク付きティーチ:細粒多義語知覚のためのオンポリケーション蒸留における言語モメンタムの破断
- Abstract要約: オンライン蒸留(OPD)は、大規模言語モデルにおける微粒化知覚を改善する効果的なアプローチとして登場した。
Blink On-Policy Distillation (BlinkOPD)を提案する。
BlinkOPDは、500のトレーニングイメージのみを使用して、6つのきめ細かいベンチマークで最先端の平均パフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 46.82664625502758
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) has emerged as an effective post-training approach to improving fine-grained perception in multimodal large language models by amortizing costly inference-time zooming operations into a single-pass recipe. However, vanilla OPD is inherently susceptible to linguistic momentum: the teacher can follow the student's erroneous prefixes, thus weakening corrective supervision. To address this, we propose Blink On-Policy Distillation (BlinkOPD), in which the teacher "blinks" at every token: it reads the same prefix once with its eyes open and once with its eyes closed. A first-glance gain further strengthens the correction on rollouts that conflict with the teacher. By extracting more effective supervision from each on-policy trajectory, BlinkOPD achieves state-of-the-art average performance across six fine-grained benchmarks using only 500 training images (12x less data) than existing OPD methods. Beyond fine-grained perception, BlinkOPD also demonstrates strong zero-shot improvements across ten held-out benchmarks spanning general visual perception, visual hallucination, and multimodal reasoning abilities. Code: https://github.com/Supltz/BlinkOPD
- Abstract(参考訳): オンライン蒸留(OPD)は,高コストな推論時間ズーム操作を単一パスのレシピに記憶させることにより,多モーダル大言語モデルの微粒化知覚を改善するための効果的なポストトレーニング手法として登場した。
しかし、バニラOPDは本質的に言語運動量に影響を受けやすく、教師は生徒の誤った接頭辞に従うことができ、修正的監督が弱まる。
そこで本研究では,Blink On-Policy Distillation (BlinkOPD)を提案する。
初級利得は、教師と対立するロールアウトの補正をさらに強化する。
BlinkOPDは、各オンライントラジェクトリからより効果的な監視を抽出することにより、既存のPD法よりも500のトレーニング画像(12倍少ないデータ)しか使用せずに、6つのきめ細かいベンチマークで最先端の平均性能を達成する。
きめ細かい知覚以外にも、BlinkOPDは、一般的な視覚知覚、視覚幻覚、マルチモーダル推論能力にまたがる10のホールトアウトベンチマークに対して、強力なゼロショット改善を示している。
コード:https://github.com/Supltz/BlinkOPD
関連論文リスト
- VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning [0.0]
VC-OPD (Visual Counterfactual On-Policy Distillation) は接地型蒸留法である。
VC-OPDは、画像固有の証拠に依存するトークンを優先する。
マルチモーダル推論ベンチマークの実験は、VC-OPDが視覚的推論性能を改善することを示している。
論文 参考訳(メタデータ) (2026-10-10T14:10:43Z) - Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。
S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。
我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
論文 参考訳(メタデータ) (2026-09-30T06:55:48Z) - What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。
生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。
我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
論文 参考訳(メタデータ) (2026-09-27T11:08:31Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳(メタデータ) (2026-07-05T17:47:29Z) - DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。
特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。
大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-06-29T17:55:53Z) - Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。
TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文 参考訳(メタデータ) (2026-06-07T03:17:25Z) - Adversarial Dual On-Policy Distillation from Expressive Teacher [53.63143943452487]
フローマッチングの教師は、デモから学び、軽量の学生と共同で訓練される。
教師は学生のロールアウトに2つの補完的な信号を提供します。
アクションチャネルは、学生が訪問する州で密集したローカルターゲットを提供し、搾取を安定化させる。
論文 参考訳(メタデータ) (2026-05-26T14:38:03Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳(メタデータ) (2026-05-13T15:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。