論文の概要: Progressive-View On-Policy Distillation for Regional-to-Global Transfer in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2609.32333v1
• Date: Sat, 26 Sep 2026 07:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:37:37.860914
• Title: Progressive-View On-Policy Distillation for Regional-to-Global Transfer in Multimodal LLMs
• Title（参考訳）: マルチモーダルLCMにおける地域-地域間移動の進歩的オンポリシィ蒸留
• Abstract要約: 地域間蒸留は、フルイメージ理解を改善するために作物条件のガイダンスを使用する。 本稿では, 農作物からフルイメージへ, 学生の視点分布をシフトさせる, 先進的なオンライン蒸留法を提案する。 軽量な地域アドバンテージ重み付けは、作物条件の教師と学生の対数確率ギャップを用いたトークンレベルの監視を実現する。
• 参考スコア（独自算出の注目度）: 6.419623380798736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regional-to-global distillation uses crop-conditioned guidance to improve full-image understanding. The challenge is to effectively transfer the teacher's crop-based advantage to the student's full-image inference. We propose progressive-view on-policy distillation (PVD), which shifts the student's view distribution from the crop toward the full image through an intermediate aspect-preserving padded crop. The padded crop preserves regional content while matching the full image's visual-token grid. Across stages, the view mixture assigns increasing probability to the full image. A lightweight regional-advantage weighting reallocates token-level supervision using the crop-conditioned teacher-student log-probability gap. Evaluated under each sampled input, it applies mild reweighting when the gap is small and emphasizes higher-gap tokens when the gap widens. A Jensen-Shannon metric decomposition interprets this schedule as a shift from matched-input imitation toward the deployment objective. Across benchmarks spanning perception, visual mathematics and general multimodal question answering, PVD-full reaches an average accuracy of 77.51 over three seeds, improving on the reward-free distillation baseline by 2.01 points and on its reward-matched variant by 1.00 point. In the reward-free setting, PVD-distill still gains 1.16 points.
• Abstract（参考訳）: 地域間蒸留は、フルイメージ理解を改善するために作物条件のガイダンスを使用する。 課題は、教師の作物に基づく利点を学生のフルイメージ推論に効果的に伝達することである。 本研究では, 農作物から中間保存水田作物を通したフルイメージへ, 学生の視点分布をシフトさせる, プログレッシブ・オン・ポリケーション蒸留(PVD)を提案する。 刈り取られた作物は、全画像の視覚的なグリッドをマッチングしながら、地域コンテンツを保存する。 ビューミックスは、ステージ全体にわたって、全画像に増加確率を割り当てる。 軽量な地域アドバンテージ重み付けは、作物条件の教師と学生の対数確率ギャップを用いたトークンレベルの監視を実現する。 各サンプル入力に基づいて評価し、ギャップが小さい場合には軽度再重み付けを施し、ギャップが広がると高ギャップトークンを強調する。 Jensen-Shannon計量分解は、このスケジュールを一致したインプットの模倣からデプロイメントの目的へのシフトとして解釈する。 知覚、視覚数学、一般マルチモーダル質問応答にまたがるベンチマークで、PVD-fullは3つの種に対して平均77.51の精度に達し、無報酬蒸留ベースラインを2.01ポイント改善し、報酬適合型を1.00ポイント改善した。 無報酬設定では、PVD-distillは依然として1.16ポイントを獲得している。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Consistency as Inductive Bias: Learning Cross-View Invariance for Robust Multimodal Reasoning [40.68014726208686]
  本稿では,RLVRトレーニングにクロスビュー一貫性を注入するConsistRollを提案する。 オリジナルとセマンティックに不変な変換されたビューを同じ世代グループに配置する。 ペアの完了が正確かつ一貫性のある場合にのみ、共同報酬を割り当てる。
  論文  参考訳（メタデータ） (2026-06-29T05:45:18Z)
• Visual-Advantage On-Policy Distillation for Vision-Language Models [32.05491249378337]
  ビジュアル・アドバンテージ(VA)は、教師が詳細なビジュアルディテールにアクセスせずに学生が生成したロールアウトを得点した場合、トークンレベルのログ確率差である。 VA-OPDは、各ベンチマークにおける標準的なオンライン蒸留よりも改善され、教師サイズとデータスケールの両方の軸に沿って単調に上昇する。
  論文  参考訳（メタデータ） (2026-05-21T02:48:36Z)
• Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation [52.10062792673558]
  自動ストリーミングビデオ拡散モデルを実用化するために、蒸留ベースの加速が基礎となっている。 既存の方法は、すべてのロールアウト、フレーム、ピクセルを同様に信頼できる監視として扱う。 本稿では,信頼性に配慮したリワード蒸留フレームワークStream-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-05T15:15:30Z)
• PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
  大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。 近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。 ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
  論文  参考訳（メタデータ） (2026-04-29T11:56:07Z)
• Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception [43.08943307183693]
  Region-to-Image Distillationは、推論時ツールからトレーニング時プリミティブへのズームを変換する。 我々は,複数のきめ細かい知覚ベンチマークにおいて,モデルが先行する性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-02-12T12:00:35Z)
• mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
  Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。 改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
  論文  参考訳（メタデータ） (2022-03-29T09:08:18Z)
• PANet: Perspective-Aware Network with Dynamic Receptive Fields and Self-Distilling Supervision for Crowd Counting [63.84828478688975]
  本稿では,視点問題に対処するため,PANetと呼ばれる新しい視点認識手法を提案する。 対象物のサイズが視点効果によって1つの画像で大きく変化するという観測に基づいて,動的受容場(DRF)フレームワークを提案する。 このフレームワークは、入力画像に応じて拡張畳み込みパラメータによって受容野を調整することができ、モデルが各局所領域についてより識別的な特徴を抽出するのに役立つ。
  論文  参考訳（メタデータ） (2021-10-31T04:43:05Z)
• Exploring the Diversity and Invariance in Yourself for Visual Pre-Training Task [192.74445148376037]
  自己指導型学習法は視覚前訓練において顕著な成功を収めた。 これらの手法は、限られた領域のみに焦点を当てたり、抽出された特徴を各画像内の全く異なる領域に当てはめることはほぼ同じである。 本稿では,自身のE-DIYにおける多様性と不変性を探究する。
  論文  参考訳（メタデータ） (2021-06-01T14:52:36Z)
• Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning [116.91819311885166]
  一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。 提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
  論文  参考訳（メタデータ） (2020-12-04T17:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。