論文の概要: Zero-Shot 3D Question Answering via Hierarchical View-to-Token Transportation
- arxiv url: http://arxiv.org/abs/2606.03100v2
- Date: Thu, 04 Jun 2026 05:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 19:21:33.110756
- Title: Zero-Shot 3D Question Answering via Hierarchical View-to-Token Transportation
- Title（参考訳）: 階層的ビュー・ツー・トークン輸送によるゼロショット3次元質問応答
- Abstract要約: 本稿では,ビューレベルとトークンレベルの両方において,入力コンテキスト収集のための階層的アプローチを提案する。
具体的には、画素特徴とカメラパラメータを組み合わせることで、意味的内容と幾何学的位置の両方に基づいて、ビューの重要性を評価する。
フレームワークを3つの広く使用されているベンチマークで評価し、既存のチューニング不要の手法とトレーニングベースのアプローチに匹敵するパフォーマンスを大幅に改善したことを示す。
- 参考スコア（独自算出の注目度）: 9.296275675671636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, zero-shot 3D scene understanding via 2D Vision-Language Models (VLMs) has gained increasing research interest due to their promising spatial reasoning capabilities. Typically, multiple 2D views are sampled from a 3D point cloud and fed into pre-trained VLMs to answer a given question. This paradigm highlights the critical role of input context quality and raises the challenge of retaining as many task-relevant 3D details as possible under a limited input budget. We propose \texttt{KeyVT}, a hierarchical approach for input context collection at both the view and token levels. Specifically, we combine pixel features with camera parameters and assess view importance based on both semantic content and geometric position, resulting in spatially consistent and task-relevant views. Furthermore, we address redundancy among patches across selected views by identifying representative tokens under the optimal transport (OT) framework, where view tokens and key tokens are formulated as two discrete distributions in the embedding space. These key tokens are expected to cover all view features by minimizing the OT distance. We evaluate our framework on three widely used benchmarks, demonstrating significant improvements over existing tuning-free methods and performance comparable to training-based approaches.
- Abstract（参考訳）: 近年,2次元視覚言語モデル(VLM)によるゼロショット3Dシーンの理解が,空間推論能力の有望さから研究の関心が高まっている。
通常、複数の2Dビューは3Dポイントクラウドからサンプリングされ、与えられた質問に答えるためにトレーニング済みのVLMに入力される。
このパラダイムは、入力コンテキストの品質の重要な役割を強調し、限られた入力予算の下で可能な限り多くのタスク関連3Dの詳細を保持するという課題を提起する。
本稿では,ビューレベルとトークンレベルの両方において,入力コンテキスト収集のための階層的アプローチである‘texttt{KeyVT} を提案する。
具体的には、画素の特徴をカメラパラメータと組み合わせ、意味的内容と幾何学的位置の両方に基づいて視点重要度を評価し、空間的に一貫したタスク関連ビューをもたらす。
さらに、最適なトランスポート(OT)フレームワークで代表トークンを識別することにより、選択されたビュー間のパッチ間の冗長性に対処し、ビュートークンとキートークンを埋め込み空間内の2つの離散分布として定式化する。
これらのキートークンは、OT距離を最小化することによって、すべてのビュー特徴をカバーすることが期待されている。
フレームワークを3つの広く使用されているベンチマークで評価し、既存のチューニング不要の手法とトレーニングベースのアプローチに匹敵するパフォーマンスを大幅に改善したことを示す。
関連論文リスト
- Agentic Collaborative Cognition for Zero-Shot 3D Understanding [57.854375071638856]
本研究では,高レベル視点計画の処理に計画エージェントを割り当てる協調型マルチエージェントフレームワークを提案する。
知覚エージェントは、3Dシーンを構造化された全体的認知マップに明示的に要約する。
ScanReferでは11.1%のAcc@0.5、3D支援ダイアログでは14.6 BLEU-1、SQA3Dでは2.1 EM、最先端の6ベンチマークでは2.1 EMを実現している。
論文 参考訳（メタデータ） (2026-06-23T14:44:04Z) - CVSBench: A Comprehensive Benchmark for Cross-view Spatial Reasoning and Dreaming [13.534076118011603]
CVSBenchは、衛星とストリートのペアによる空間的推論を評価するための大規模なベンチマークである。
このベンチマークは、クロスビューVQA、クロスビューグラウンド、視点識別など、複数のタスクをサポートする。
言語のみの推論は,視覚空間の想像力を3次元シーンの想像パイプラインに組み込むことで,視線間の推論を大幅に改善する一方で,限界的な改善をもたらすことを示した。
論文 参考訳（メタデータ） (2026-06-21T12:35:43Z) - Cross-Attentive Multiview Fusion of Vision-Language Embeddings [28.984855441235776]
複数の視点から視覚言語記述子を横断的に横断する新しいマルチビュートランスフォーマーアーキテクチャを提案する。
この融合のための自己超越信号としてマルチビュー整合性を利用する。
クロス・アテンティブ・マルチビュー・フュージョンは、ナイーブ平均化やシングルビュー記述子選択よりも一貫して優れています。
論文 参考訳（メタデータ） (2026-04-14T10:25:32Z) - HMR3D: Hierarchical Multimodal Representation for 3D Scene Understanding with Large Vision-Language Model [14.277165215664425]
大規模視覚言語モデル (VLM) は3次元シーン理解に大きな可能性を示唆している。
既存のVLMベースのアプローチは、通常、VLMの埋め込み空間と3Dシーンの特徴を一致させる。
本稿では3次元シーン推論のための新しい階層型マルチモーダル表現を提案する。
論文 参考訳（メタデータ） (2025-11-28T08:06:20Z) - Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。
我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。
提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文 参考訳（メタデータ） (2025-11-14T04:16:09Z) - Fast3D: Accelerating 3D Multi-modal Large Language Models for Efficient 3D Scene Understanding [24.964149224068027]
我々は,3D MLLM のためのプラグ&プレイ型ビジュアルトークン解析フレームワークである Fast3D を提案する。
グローバルアテンション予測(GAP)は,目標モデルのグローバルアテンション分布を予測し,トークンの効果的な重要度推定を可能にする。
SAPは、注意に基づく複雑性評価を通じて動的トークン予算を導入し、レイヤーワイドプルーニング比率を自動的に調整する。
論文 参考訳（メタデータ） (2025-07-12T16:29:02Z) - Pts3D-LLM: Studying the Impact of Token Structure for 3D Scene Understanding With Large Language Models [9.658828841170472]
本研究は,3次元トークン構造に関する厳密な研究であり,映像ベースおよび点ベース表現を体系的に比較する。
本稿では,ソナタで事前学習したポイントトランスフォーマーV3エンコーダの3Dポイントクラウド機能を組み込むことで,視覚トークンを充実させる手法を提案する。
論文 参考訳（メタデータ） (2025-06-06T02:35:26Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z) - AR-1-to-3: Single Image to Consistent 3D Object Generation via Next-View Prediction [69.65671384868344]
拡散モデルに基づく新しい次世代予測パラダイムAR-1-to-3を提案する。
提案手法は,生成したビューと入力ビューとの整合性を大幅に改善し,高忠実度3Dアセットを生成する。
論文 参考訳（メタデータ） (2025-03-17T08:39:10Z) - UniPLV: Towards Label-Efficient Open-World 3D Scene Understanding by Regional Visual Language Supervision [10.587237925455211]
総合的な3Dシーン理解のための単一の学習パラダイム内に,ポイントクラウド,イメージ,テキストを統一する堅牢なフレームワークであるUniPLVを提案する。
我々はUniPLVが最先端の手法をはるかに上回り、Base-AnnotatedおよびBase-Annotatedのセマンティックセグメンテーションが平均15.6%と14.8%向上したことを示す。
フリータスク。
論文 参考訳（メタデータ） (2024-12-24T03:40:05Z) - VAPO: Visibility-Aware Keypoint Localization for Efficient 6DoF Object Pose Estimation [52.81869878956534]
2次元画像における3Dキーポイントの局所化は、インスタンスレベルの6DoFオブジェクトのポーズ推定のための3D-2D対応を確立する効果的な方法である。
本稿では、重要なキーポイントを可視性の観点からローカライズすることでこの問題に対処する。
我々は、可視性を考慮した重要度と最先端のポーズ推定アルゴリズムを統合することにより、VAPO(Visibility-Aware POse estimator)を構築する。
論文 参考訳（メタデータ） (2024-03-21T16:59:45Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。