論文の概要: AlloEgo-VLM: Disambiguating Allocentric and Egocentric Reference Frames in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.15605v1
- Date: Sun, 16 Aug 2026 08:06:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.362216
- Title: AlloEgo-VLM: Disambiguating Allocentric and Egocentric Reference Frames in Vision-Language Models
- Title（参考訳）: AlloEgo-VLM:視覚言語モデルにおけるアロセントリックおよびエゴセントリック参照フレームの曖昧化
- Abstract要約: 本研究では,空間意味論の理解において視覚言語モデル(VLM)が直面するあいまいさの課題について検討する。
空間的関係に関する自然言語の記述は、しばしば明示的な参照フレームを省略し、意味的曖昧さと、具体化されたAIロボットの潜在的な重大なエラーをもたらす。
我々は、AlloEgo-Viewという新しいデータセットを構築し、(イメージ、クエリ、ビュー固有の回答)三つ子で構成され、アロセントリックとエゴセントリックの両方の観点から重要なオブジェクト関係をキャプチャします。
我々は、曖昧なクエリの下でも、アロセントリックでエゴセントリックな参照フレームを曖昧にし、容易に統合できるフレームワークであるAlloEgo-VLMを開発した。
- 参考スコア（独自算出の注目度）: 15.021275200375504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study investigates the challenge of ambiguity faced by Vision-Language Models (VLMs) in understanding spatial semantics. Spatial cognition, shaped by cognitive psychology, spatial science, and cultural context, often assigns directionality to objects. However, natural language descriptions of spatial relations frequently omit explicit reference frames, leading to semantic ambiguity and potentially serious errors for embodied AI robots. Existing VLMs, due to insufficient training on reference frames and object orientations, often produce inconsistent responses. To address this issue, we construct a new dataset, AlloEgo-View, comprising (image, query, view-specific answer) triplets that capture key object relations from both allocentric and egocentric perspectives. The view-specific descriptions follow a structured spatial representation that annotate detailed scene descriptions, reference and target objects, their orientations, reference frames, and view types. Building on AlloEgo-View, we develop AlloEgo-VLM, a framework to disambiguate allocentric and egocentric reference frames, even under ambiguous queries, and to be easily integrated into existing VLMs via supervised fine-tuning. Furthermore, we deploy our framework onto an embodied robotic platform within NVIDIA Isaac Sim to validate its real-world feasibility in open-ended object searching tasks. Experiments highlight the limitations of current VLMs in handling view-specific queries and demonstrate the strong disambiguation ability of AlloEgo-VLM.
- Abstract（参考訳）: 本研究では,空間意味論の理解において視覚言語モデル(VLM)が直面するあいまいさの課題について検討する。
認知心理学、空間科学、文化的文脈によって形成された空間認知は、しばしば物体に方向を割り当てる。
しかし、空間的関係に関する自然言語の記述は、しばしば明示的な参照フレームを省略し、意味的曖昧さと、具体化されたAIロボットの潜在的な重大なエラーをもたらす。
既存のVLMは参照フレームとオブジェクト指向の訓練が不十分なため、しばしば矛盾する応答を生成する。
この問題に対処するため、私たちはAlloEgo-Viewという新しいデータセットを構築しました。
ビュー固有の記述は、詳細なシーン記述、参照およびターゲットオブジェクト、それらの向き、参照フレーム、ビュータイプを注釈する構造化された空間表現に従う。
AlloEgo-View 上に構築した AlloEgo-VLM は,不明瞭なクエリであっても,アロセントリックかつエゴセントリックな参照フレームを曖昧にし,教師付き微調整により既存の VLM に容易に統合できるフレームワークである。
さらに、当社のフレームワークをNVIDIA Isaac Sim内の組み込みロボットプラットフォームにデプロイし、オープンなオブジェクト検索タスクにおける実際の実現可能性を検証する。
ビュー固有のクエリを扱う際の現在のVLMの限界を強調し、AlloEgo-VLMの強い曖昧さを示す。
関連論文リスト
- Multi-Turn Multi-Agent Dialogue for Collaborative Reconstruction Improves VLM Performance on Spatial Reasoning, But Only Barely [17.22551679328024]
視覚言語モデル(VLM)は、視覚解釈、質問応答、指示追従を含むロボットタスクをサポートする。
本研究では,視覚的解釈,接地,言語誘導インタラクション,行動生成を組み合わせた協調的な構造構築タスクを通じて,このギャップについて検討する。
論文 参考訳（メタデータ） (2026-05-29T14:51:49Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation [43.757357328319124]
LMM(Large Multimodal Models)は、汎用視覚の言語理解において顕著な進歩を遂げている。
既存のシステムは、しばしば正しいインスタンスを識別し、相互作用を通してオブジェクトのアイデンティティを保持し、高い精度で指定された領域をローカライズまたは修正するのに苦労する。
本稿では,LMMとオブジェクト中心視の収束における最近の進歩を概観する。
論文 参考訳（メタデータ） (2026-04-13T17:55:02Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - Thinking with Blueprints: Assisting Vision-Language Models in Spatial Reasoning via Structured Object Representation [52.605647992080485]
空間的推論は視覚的知覚から意味的理解へと視覚言語モデルを前進させる。
物体中心の青写真という認知概念を空間的推論に統合する。
我々の手法は既存の視覚言語モデルより一貫して優れている。
論文 参考訳（メタデータ） (2026-01-05T10:38:26Z) - VLM4D: Towards Spatiotemporal Awareness in Vision Language Models [66.833085504228]
V4DLMは視覚言語モデル(VLM)を評価するために設計された最初のベンチマークである。
本ベンチマークは,質問応答対を慎重にキュレートした,多様な実世界および合成ビデオで構成されている。
我々は,既存のモデルにおける基本的欠陥を浮き彫りにして,人間のベースラインと比較して重要なパフォーマンスギャップを識別する。
論文 参考訳（メタデータ） (2025-08-04T06:06:06Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [13.768090541138571]
視覚言語モデル(VLM)はオブジェクトの識別と記述に優れるが、しばしば空間的推論では失敗する。
視覚トークンの埋め込みは、テキストトークンよりもはるかに大きな規範を持っている。
視覚トークンとシステムが注目を惹きつけることを明らかにするツール。
論文 参考訳（メタデータ） (2025-03-21T17:51:14Z) - Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering [10.505845766495128]
MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。
マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。
RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
論文 参考訳（メタデータ） (2024-12-30T13:16:08Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。