論文の概要: Distill What RGB Can Recover: Privileged 3D Evidence for RGB-Only Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.00110v1
• Date: Fri, 31 Jul 2026 08:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.446122
• Title: Distill What RGB Can Recover: Privileged 3D Evidence for RGB-Only Vision-Language Models
• Title（参考訳）: RGBが回収できるもの:RGB専用ビジュアルランゲージモデルの3Dエビデンス
• Abstract要約: 3Dシーンの理解には、実体の存在、空間的レイアウト、オブジェクトの関係に関する推論が必要である。 既存の3D-VLMは、通常、推論時に深度や3D位置対応の入力に依存する。 本研究では,RGBのみの推論下での空間的推論能力に3Dエビデンスを変換する方法について検討した。
• 参考スコア（独自算出の注目度）: 9.680948084798487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D scene understanding requires reasoning about entity existence, spatial layout, and object relations, yet RGB images alone often provide insufficient 3D cues. Existing 3D-VLMs commonly rely on depth or 3D-position-aware inputs at inference time, introducing additional acquisition, reconstruction, or annotation costs that limit RGB-only deployment. We therefore study how training-time 3D evidence can be converted into spatial reasoning capabilities retained under RGB-only inference. We propose a privileged-evidence distillation framework that constructs a distillable teacher through a unified evidence interface and controlled residual injection, and transfers its knowledge to a deployable student receiving only RGB images and questions through logit and structured representation distillation. To avoid imitating teacher signals unsupported by RGB, we further introduce evidence-sensitivity-guided distillation, which uses corrupted evidence to identify highly evidence-dependent targets and down-weight their supervision. We also define a recoverability decomposition based on the matched baseline, teacher, and student, separating privileged gains into RGB-recoverable improvements and residual teacher advantages. Across four benchmarks, the teacher achieves the best result on 7 of 11 reported metrics among the compared methods. The RGB-only student outperforms its matched baseline on all 11 metrics, including gains of 10.4 ScanQA CIDEr and 19.1 Scan2Cap CIDEr@0.5, without additional inference-time inputs. These results validate the effectiveness of training-time privileged 3D evidence distillation for both teacher performance and deployable RGB-only spatial reasoning. Separately, our matched baseline-teacher-student analysis characterizes privileged-gain transfer across evidence types and spatial skills.
• Abstract（参考訳）: 3Dシーンの理解には、実体の存在、空間的レイアウト、オブジェクトの関係に関する推論が必要であるが、RGB画像だけでは不十分な3Dキューを提供することが多い。 既存の3D-VLMは、通常、推論時に深度や3D位置対応の入力に依存し、RGBのみのデプロイメントを制限する追加の取得、再構築、アノテーションコストを導入する。 そこで本研究では,RGBのみの推論下での空間的推論能力に3Dエビデンスを変換する方法について検討した。 本稿では, 統一的なエビデンスインターフェースと制御された残差注入により, 蒸留可能な教師を構築するための特権的エビデンス蒸留フレームワークを提案し, その知識をロジットおよび構造化表現蒸留を通じてRGB画像と質問のみを受信するデプロイ可能な学生に伝達する。 さらに,RGBによる教師信号の模倣を避けるために,汚染された証拠を用いて高い証拠依存目標を特定し,監督を下方修正する,エビデンス感度誘導蒸留を導入する。 また, 学習者, 教師, 生徒の一致したベースラインに基づく回復可能性の分解を定義し, 特権ゲインをRGB回復可能な改善と教師の残余の利点に分離する。 4つのベンチマークで、教師は、比較したメソッドのうち、11のレポートされた指標のうち7つで最高の結果を得る。 RGBのみの学生は10.4のScanQA CIDErと19.1のScan2Cap CIDEr@0.5を含む11のメトリクスで一致したベースラインを上回っている。 これらの結果は,教師のパフォーマンスと展開可能なRGBのみの空間推論の両方に対して,訓練時間限定3Dエビデンス蒸留の有効性を検証した。 これとは別に,本研究では,エビデンスタイプや空間的スキルにまたがる特権的ゲイン伝達を特徴付けるベースライン-教師-学生分析を行った。

関連論文リスト

• Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark [68.49637363691325]
  本稿では,RGB-NIR低照度画像に3次元ニューラルモデリングを取り入れた新しい視点を提供する。 強力なモデルは、暗黙的に非常にノイズの多いRGB観測を3次元空間でNIRキューで融合させ、クリーンなRGBイメージを効果的に回収するために最適化することができる。
  論文  参考訳（メタデータ） (2026-07-31T17:59:18Z)
• ViserDex: Visual Sim-to-Real for Robust Dexterous In-hand Reorientation [9.303398221598739]
  複雑なタスクのダイナミクスを扱うには、オブジェクトのポーズを正確に見積もる必要がある。 RGBセンシングはポーズトラッキングのためのリッチなセマンティックキューを提供するが、既存のソリューションはマルチカメラのセットアップや高価なレイトレーシングに依存している。 本稿では,3次元ガウススプラッティング(3DGS)を統合して視覚的シム-リアルギャップを埋めるモノクラーRGBの直交配向フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-13T07:50:41Z)
• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [65.42565481489132]
  人間は、単一のクエリ参照イメージペアのみを前提として、ラベル付けやトレーニングをすることなく、これまで見られなかったオブジェクトの相対的なポーズを容易に推論することができる。 RGB-D参照から3D/2.5D形状認識と2.5D形状認識を併用した新しい3次元一般化可能な相対ポーズ推定法を提案する。 RGBとセマンティックマップ(DINOv2がRGB入力から取得)によってテクスチャ化された2.5Dの回転可能なメッシュを識別し、新しいRGBとセマンティックマップを新しい回転ビューの下でレンダリングする。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• Towards Balanced RGB-TSDF Fusion for Consistent Semantic Scene Completion by 3D RGB Feature Completion and a Classwise Entropy Loss Function [10.22925811541619]
  RGB-TSDF 融合は非自明なものと考えられており、一般的に使用されるナイーブ付加は矛盾する結果をもたらす。 本稿では、3D RGB機能補完モジュールを備えた2段階ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-25T15:56:51Z)
• Rethinking RGB Color Representation for Image Restoration Models [55.81013540537963]
  各画素に局所的な近傍構造情報を保持するために表現を拡大する。 画素あたりの損失に対する表現空間の置換は、画像復元モデルのトレーニングを容易にする。 私たちの空間は、色と局所構造の両方を再構築することで、全体的なメトリクスを一貫して改善します。
  論文  参考訳（メタデータ） (2024-02-05T06:38:39Z)
• RGB-Multispectral Matching: Dataset, Learning Methodology, Evaluation [49.28588927121722]
  ステレオマッチング対応を解くことで,解像度の異なる同期色(RGB)とマルチスペクトル画像(MS)の登録の問題に対処する。 室内環境における13の異なるシーンをフレーミングする新しいRGB-MSデータセットを導入し,34枚の画像対に半高解像度の高解像度の地上トラスラベルを付加したアノテートを行った。 そこで本研究では,RGBカメラを活用した自己指導型ディープラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-14T17:59:59Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Feature-Supervised Action Modality Transfer [35.550525307238146]
  本稿では,ビデオモダリティにおける動作認識と検出を,限定されたモダリティ指定のラベル付き例のみに限定して行おうとする。 RGBや派生した光フローでは、多数の大規模ラベル付きデータセットが利用可能である。
  論文  参考訳（メタデータ） (2021-08-06T22:59:10Z)
• Synergistic saliency and depth prediction for RGB-D saliency detection [76.27406945671379]
  既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。 そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:24:41Z)
• Visual Camera Re-Localization from RGB and RGB-D Images Using DSAC [46.20308305148577]
  本稿では,既知の環境に対する単一入力画像から,カメラの位置と向きを推定する学習ベースシステムについて述べる。 最小限の場合、我々のシステムは訓練時にRGB画像と地上の真実ポーズのみを必要とし、テスト時に1枚のRGB画像しか必要としない。
  論文  参考訳（メタデータ） (2020-02-27T18:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。