論文の概要: When Depth Is Better Told Than Shown: Depth-Ordinal Prompting for Vision-Language Spatial Reasoning
- arxiv url: http://arxiv.org/abs/2607.11173v1
- Date: Mon, 13 Jul 2026 07:13:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.362855
- Title: When Depth Is Better Told Than Shown: Depth-Ordinal Prompting for Vision-Language Spatial Reasoning
- Title(参考訳): 深度がより良くなったとき:視覚・言語空間推論のための奥行き規則的プロンプト
- Abstract要約: 自然な治療法はモデルに深度マップを示すことですが、パフォーマンスを悪化させる可能性があることが分かりました。
言語モデルに到達するが、下流の推論へのアクセスが困難になる。
単眼深度を1つの質問対象順序テキストキューに変換する訓練不要なDOP(Depth-Ordinal Prompting)を提案する。
- 参考スコア(独自算出の注目度): 6.31175027115879
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-language models (VLMs) are expected to reason about physical space -- which object is closer, what lies behind what, and how objects are arranged in 3D -- yet they still struggle with such spatial judgments. A natural remedy is to show the model a depth map, but we find that this can make performance worse. We show that depth is not absent: it reaches the language model, but becomes difficult to access for downstream reasoning, while rendered pseudo-depth maps act as noisy auxiliary images that frozen VLMs cannot easily regulate. We propose Depth-Ordinal Prompting (DOP), a training-free method that converts monocular depth into a single question-targeted ordinal text cue at the queried objects, without adding a depth image, training a module, injecting features, or using labels. Our key finding is form dependence: the same depth signal can hurt when shown as an image but help when told as text.Across benchmarks, models, and depth estimators, DOP improves spatial reasoning when pseudo-depth provides reliable object-level ordering and remains largely neutral in strong original-image regimes. It is also competitive with the strongest training-free depth-prompting alternative while being simpler and more targeted.
- Abstract(参考訳): 視覚言語モデル(VLM)は、どの物体が近いのか、何の背後にあるのか、どのように3Dで配置されているのかなど、物理的な空間について推論することが期待されているが、それでもそのような空間的判断に苦慮している。
自然な治療法はモデルに深度マップを示すことですが、パフォーマンスを悪化させる可能性があることが分かりました。
言語モデルに到達するが、下流の推論にはアクセスしづらい一方で、擬似深度マップは、凍結したVLMが容易に制御できないノイズの多い補助画像として機能する。
本稿では,DOP(Depth-Ordinal Prompting)を提案する。DOP(Depth-Ordinal Prompting)は,単眼深度を,深度画像の追加やモジュールのトレーニング,特徴注入,ラベルの使用なしに,単一の質問対象の順序文キューに変換する訓練自由な手法である。
DOPは、ベンチマーク、モデル、深度推定器全体にわたって、擬似深度が信頼できるオブジェクトレベルの順序付けを提供し、強力な原画像構造においてほとんど中立なままである場合、空間的推論を改善する。
また、よりシンプルでよりターゲットを絞った、最強のトレーニングフリーのディープ・プロンプ・プロンプティング(deep-prompting)代替機とも競合する。
関連論文リスト
- Disentangling Pictorial Cue Understanding from Language Bias in VLMs via Depth Ordering Task [4.585831039439083]
本研究では,視覚言語モデル(VLM)の深度知覚について検討し,画像深度手がかりの影響を分離し,視覚と言語がモデル性能に与える影響について検討した。
刺激を生成するために,シミュレーションと実写3Dシーンから2Dビューを生成し,個々の画像深度手がかりの存在を制御した。
論文 参考訳(メタデータ) (2026-07-01T22:02:30Z) - DeepSight: Bridging Depth Maps and Language with a Depth-Driven Multimodal Model [43.46585348441687]
DeepSightは3次元シーン理解を強化するために設計された最初の専用深度MLLMである。
RGB画像エンコーディングをテキストと整合させる従来の手法とは異なり,本手法は深度画像の特徴を生かしている。
論文 参考訳(メタデータ) (2026-03-06T09:43:12Z) - Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion [57.08169927189237]
奥行き完了のための既存の手法は、厳密に制約された設定で動作する。
単眼深度推定の進歩に触発されて,画像条件の深度マップ生成として深度補完を再構成した。
Marigold-DCは、単分子深度推定のための事前訓練された潜伏拡散モデルを構築し、試験時間ガイダンスとして深度観測を注入する。
論文 参考訳(メタデータ) (2024-12-18T00:06:41Z) - Source-free Depth for Object Pop-out [113.24407776545652]
現代の学習に基づく手法は、野生での推論による有望な深度マップを提供する。
本研究では,オブジェクトの3次元前の「ポップアウト」を用いて,オブジェクトセグメンテーションの深度推定モデルを適用する。
8つのデータセットに対する我々の実験は、性能と一般化性の両方の観点から、我々の方法の利点を一貫して示している。
論文 参考訳(メタデータ) (2022-12-10T21:57:11Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-28T16:20:14Z) - DID-M3D: Decoupling Instance Depth for Monocular 3D Object Detection [34.01288862240829]
単眼の3D検出は、低コストで設定の単純さのため、コミュニティから多くの注目を集めている。
最も難しいサブタスクは、インスタンスの深さ推定にある。
本稿では,インスタンスの視覚表面深度とインスタンス属性深度の組み合わせにより,インスタンスの深度を再構成する。
論文 参考訳(メタデータ) (2022-07-18T11:49:18Z) - MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection [57.969536140562674]
深度誘導型TRansformer(MonoDETR)を用いたモノクロ検出のための最初のDETRフレームワークについて紹介する。
我々は3Dオブジェクト候補を学習可能なクエリとして定式化し、オブジェクトとシーンの深度相互作用を行うための深度誘導デコーダを提案する。
モノクルイメージを入力としてKITTIベンチマークでは、MonoDETRは最先端のパフォーマンスを実現し、追加の深度アノテーションを必要としない。
論文 参考訳(メタデータ) (2022-03-24T19:28:54Z) - DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes [68.38952377590499]
複雑な屋内環境の中を移動する単眼カメラから奥行きを推定するための新しい手法を提案する。
提案手法は,静的な背景と複数の移動する人物からなるシーン全体にわたる絶対規模の深度マップを推定する。
論文 参考訳(メタデータ) (2021-08-12T09:12:39Z) - Moving SLAM: Fully Unsupervised Deep Learning in Non-Rigid Scenes [85.56602190773684]
従来のカメラ幾何学を用いて異なる視点からソースイメージを再レンダリングするビュー合成という考え方に基づいている。
映像中の合成画像と対応する実画像との誤差を最小化することにより、ポーズや深さを予測するディープネットワークを完全に教師なしで訓練することができる。
論文 参考訳(メタデータ) (2021-05-05T17:08:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。