論文の概要: Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

• arxiv url: http://arxiv.org/abs/2610.02117v1
• Date: Thu, 01 Oct 2026 17:34:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.33533
• Title: Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
• Title（参考訳）: Where-OPD: 合成シーンによるMLLMの空間的自己蒸留
• Abstract要約: 言語モデル推論を改善するための効果的なアプローチとして、オンデマンド自己蒸留が登場している。 マルチモーダル大言語モデル(MLLM)のための新しいオンライン自己蒸留方式を導入する。 プロシージャで生成されたシーンに自動的に利用可能なオブジェクトのIDと空間座標を付加し、スケーラブルでアノテーションなしのポストトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 25.75897924846719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation has recently emerged as an effective approach for improving language-model reasoning by supervising students with a frozen or EMA version of themselves that receives privileged information. Its application to multimodal large language models (MLLMs), however, remains largely unexplored. Recent approaches use privileged visual information, such as image crops corresponding to a question, to improve fine-grained perception, but their gains are confined to tasks that benefit from such visual zooming and require either human-annotated grounding data or external teacher models. We introduce a different form of on-policy self-distillation for MLLMs that provides the teacher with textual, spatially grounded guidance identifying the visual elements relevant to a query. We use procedurally generated scenes with automatically available object identities and spatial coordinates, enabling scalable and annotation-free post-training. The teacher uses this spatial guidance to locate and integrate evidence from multiple relevant image regions, while the student learns to reproduce the resulting behavior from the image and question alone. Our approach consistently improves performance on counting, document and chart understanding benchmarks across multiple models. Importantly, although post-training uses only synthetic scenes, the resulting improvements transfer to real-world perception benchmarks, yielding a 3.23-point gain in average performance across CVBench, V*, ZoomBench, BLINK, HR-Bench, and MME-RealWorld. These results show that spatially grounded privileged information can induce broader perceptual capabilities through on-policy self-distillation, enabling substantial synthetic-to-real transfer beyond the task and data distribution used for post-training. Project page: https://github.com/sirkosophia/Where-OPD
• Abstract（参考訳）: 近年, 特権情報を受ける学生の凍結版やEMA版を指導することで, 言語モデル推論を改善する効果的な方法として, オンデマンド自己蒸留が出現している。 しかし、MLLM(Multimodal large language model)への応用はほとんど未検討である。 近年のアプローチでは、質問に対応する画像作物などの特権的視覚情報を用いて、きめ細かな知覚を改善するが、その利得は、このような視覚的ズームの恩恵を受けるタスクに限られており、人間の注釈付き接地データまたは外部教師モデルが必要である。 そこで我々は,MLLMに対して,教師に対して,クエリに関連する視覚的要素を識別するテキスト的,空間的なガイダンスを提供する,異なる形式の自己蒸留方式を導入する。 プロシージャで生成されたシーンに自動的に利用可能なオブジェクトのIDと空間座標を付加し、スケーラブルでアノテーションなしのポストトレーニングを可能にする。 教師は、この空間的指導を用いて、複数の関連画像領域からの証拠を見つけ、統合し、学生は、画像から得られた振る舞いを再現し、疑問のみから学習する。 このアプローチは、複数のモデルにわたるカウント、ドキュメント、チャート理解ベンチマークのパフォーマンスを継続的に改善する。 重要な点として、ポストトレーニングは合成シーンのみを使用するが、結果として実際の知覚ベンチマークに変換され、CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorldで平均的なパフォーマンスが3.23ポイント向上した。 これらの結果から,空間的に接地された特権情報は,自己蒸留によってより広い知覚能力を引き出すことが可能であり,ポストトレーニングに使用されるタスクやデータ分布を超えて,実質的な合成と現実の伝達を可能にすることが示唆された。 プロジェクトページ:https://github.com/sirkosophia/Where-OPD

関連論文リスト

• OSM-based Domain Adaptation for Remote Sensing VLMs [49.91326341200221]
  リモートセンシングに適応した視覚言語モデル(VLM)は、ドメイン固有の画像テキストの監視に大きく依存する。 我々は、この依存関係を排除した自己完結型ドメイン適応フレームワークOSMDAを提案する。 画像テキストからテキストまでのタスクで10のベンチマークを網羅的に評価する。
  論文  参考訳（メタデータ） (2026-03-12T11:08:30Z)
• Automated Visualization Makeovers with LLMs [0.716879432974126]
  ビジュアライゼーションのフェイルオーバーは、コミュニティがフィードバックを交換してチャートやデータの視覚化を改善する活動である。 マルチモーダル大言語モデル(LLM)はこのタスクをエミュレートできるだろうか? 当社のシステムは,ユーザガイドラインとデータ視覚化プラクティスの潜伏した知識を併用した,事前学習モデルの迅速なエンジニアリングを中心に構築されている。
  論文  参考訳（メタデータ） (2025-07-21T11:51:20Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Adaptive Masking Enhances Visual Grounding [12.793586888511978]
  ローショット学習シナリオにおける語彙接地を改善するために,ガウス放射変調を用いた画像解釈型マスキングを提案する。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T05:48:02Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• Expanding Frozen Vision-Language Models without Retraining: Towards Improved Robot Perception [0.0]
  視覚言語モデル(VLM)は、視覚的質問応答と推論タスクにおいて強力な能力を示している。 本稿では,異なるモダリティの埋め込み空間を視覚埋め込み空間に整列させる手法を示す。 複数モードを入力として使用すると、VLMのシーン理解が向上し、様々なタスクにおける全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-08-31T06:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。