Fugu-MT 論文翻訳(概要): IoUPD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

論文の概要: IoUPD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

arxiv url: http://arxiv.org/abs/2607.15732v1
Date: Fri, 17 Jul 2026 08:13:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-20 17:56:52.789637
Title: IoUPD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models
Title（参考訳）: IoUPD:マルチモーダル大言語モデルを用いた視覚接地のためのIoU-Aware Privileged Distillation
Abstract要約: 大規模言語モデルのコーディネート生成のためのIoU対応特権蒸留法であるIoUPDを提案する。 IoUPDは、座標の目標だけでなく、訓練時の特権的なガイダンスとしても使われている。標準参照圧縮グラウンドベンチマークの実験では、強い座標生成ベースラインよりも一貫した領域レベルの改善が示されている。
参考スコア（独自算出の注目度）: 22.58550758200965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Visual grounding with multimodal large language models is commonly formulated as autoregressive coordinate generation, where a model outputs bounding-box coordinates as text given an image and a referring-expression prompt. While this interface is simple and compatible with instruction following, it introduces a mismatch between training and evaluation: training optimizes token-level likelihood over coordinate strings, whereas grounding quality is measured by geometric overlap. We propose IoUPD, an IoU-aware privileged distillation method for coordinate-generating multimodal large language models. IoUPD uses ground-truth boxes not only as coordinate targets, but also as privileged training-time guidance. During training, the student receives the original image and prompt, while a frozen teacher receives a box-marked image and an augmented prompt that indicates the marked region. The student is trained with a supervised fine-tuning anchor and a privileged distillation loss whose token weights reflect both geometric importance and teacher reliability. At inference time, IoUPD requires no box overlay, privileged hint, teacher branch, or additional prediction module. Experiments on standard referring-expression grounding benchmarks show consistent region-level improvements over strong coordinate-generating baselines, demonstrating that ground-truth boxes can provide useful privileged guidance beyond serving as coordinate labels.
Abstract（参考訳）: マルチモーダルな大言語モデルによる視覚的グラウンド化は、一般的に自己回帰座標生成(autoregressive coordinate generation)として定式化され、モデルが画像と参照表現プロンプトを与えられたテキストとしてバウンディングボックス座標を出力する。このインターフェースは単純で命令と互換性があるが、トレーニングと評価のミスマッチを導入している:トレーニングは座標文字列よりもトークンレベルの精度を最適化するが、グラウンド品質は幾何重なりによって測定される。 IoUPDは,多モード大言語モデルのコーディネート生成のための,IoU対応の特権蒸留法である。 IoUPDは、座標の目標だけでなく、訓練時の特権的なガイダンスとしても使われている。訓練中、学生は元のイメージとプロンプトを受け取り、凍結した教師は、マークされた領域を示すボックスマークされたイメージと強化されたプロンプトを受信する。学生は、教師付き微調整アンカーと、幾何学的重要性と教師の信頼性の両方を反映したトークン重量の特権蒸留損失で訓練される。推論時には、IoUPDはボックスオーバーレイ、特権付きヒント、教師ブランチ、追加の予測モジュールを必要としない。標準参照圧縮グラウンドベンチマークの実験では、強い座標生成ベースラインよりも一貫した領域レベルの改善が示され、グラウンドトルースボックスが座標ラベル以上の特権的なガイダンスを提供することを示した。

関連論文リスト

Hi-Token: Hierarchical Coordinate Tokenization for Generative Visual Grounding [22.205716720462647]
Generative Vision-Language Models (VLM) はバウンディングボックス座標を独立出力シンボルとして扱う。 Hi-Tokenは、数百、十、一桁の軸固有のトークンを各座標にエンコードする。 Hi-GARはこの表現を、グループ相対政策最適化のための幾何学に基づく報酬で補完する。
論文参考訳（メタデータ） (2026-08-04T11:07:19Z)
dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文参考訳（メタデータ） (2026-07-05T17:47:29Z)
Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding [39.58236772917555]
VLMに基づくGUI接地のための品質認識型自己蒸留法を提案する。正当性に気付くゲーティングと教師の確率スケーリングにより、教師の信号品質を向上させる。我々の手法は一貫してベースモデルを改善し、強いベースラインを上回ります。
論文参考訳（メタデータ） (2026-06-16T16:02:41Z)
GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns [55.28321614854968]
幾何学領域における1.3K以上の教師-学生対話のデータセットであるGeoDialを紹介する。本稿では,対話行動,視覚的ハイライト,フィードバックを統合したスケーラブルなアノテーションプロトコルを提案する。
論文参考訳（メタデータ） (2026-05-08T10:54:32Z)
Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding [14.557461522754545]
GUIグラウンドニングに適した最初のOPSDフレームワークであるGUI-SDを提示する。教師のための視覚的に豊かな特権的コンテキストを構築する。 GRPOベースの手法よりも一貫して優れており、精度とトレーニング効率の両方でOPSDを生かしている。
論文参考訳（メタデータ） (2026-05-01T13:23:26Z)
Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文参考訳（メタデータ） (2025-10-14T17:59:54Z)
Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
論文参考訳（メタデータ） (2024-07-05T13:15:29Z)
HiVG: Hierarchical Multimodal Fine-grained Modulation for Visual Grounding [80.85164509232261]
HiVGは多層適応型クロスモーダルブリッジと階層型マルチモーダル低ランク適応(HiLoRA)パラダイムで構成されている。 HiLoRAは、階層的な方法で、クロスモーダルな特徴を浅い層から深い層に適応させることによって、知覚エラーの蓄積を防止する。
論文参考訳（メタデータ） (2024-04-20T14:57:31Z)
Focus on Your Target: A Dual Teacher-Student Framework for Domain-adaptive Semantic Segmentation [210.46684938698485]
意味的セグメンテーションのための教師なしドメイン適応(UDA)について検討する。対象領域からのトレーニングサンプルの割合を減少・増加させることで,「学習能力」が強化・弱まることがわかった。本稿では,DTS(Double teacher-student)フレームワークを提案し,双方向学習戦略を取り入れた。
論文参考訳（メタデータ） (2023-03-16T05:04:10Z)
Integrating Object-aware and Interaction-aware Knowledge for Weakly Supervised Scene Graph Generation [33.15624351965304]
既存のWSSGGのほとんどは、オブジェクト一貫性にのみ焦点をあてています。本稿では,オブジェクト認識とインタラクション認識の両方の知識を用いて,シンプルな接地モジュールを構築することを提案する。本手法は, 各種の弱監督下でのWSSGG性能を継続的に改善する。
論文参考訳（メタデータ） (2022-08-03T04:20:17Z)
DiscoBox: Weakly Supervised Instance Segmentation and Semantic Correspondence from Box Supervision [98.25918224571132]
バウンディングボックスによるインスタンスセグメンテーションとセマンティック対応を共同学習する新しいフレームワークであるDiscoBoxを紹介します。教師は、箱内と箱内の両方の画素関係をモデル化するために、ペアワイズ電位とクロスイメージ電位を組み込んだ構造化エネルギーモデルである。教師のエネルギーを最小化することは、洗練されたオブジェクトマスクとクラス内のオブジェクト間の密接な対応を同時に生み出す。
論文参考訳（メタデータ） (2021-05-13T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。