論文の概要: R3D: Quantitative 3D Spatial Reasoning for Egocentric Wearables

• arxiv url: http://arxiv.org/abs/2607.02921v1
• Date: Fri, 03 Jul 2026 03:25:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.458855
• Title: R3D: Quantitative 3D Spatial Reasoning for Egocentric Wearables
• Title（参考訳）: R3D:エゴセントリックウェアラブル用3次元空間共振器の定量化
• Abstract要約: R3D-Bench (Reasoning in 3D) は、15種類の空間的推論問題3,033のベンチマークである。 R3Dは、セグメンテーションとディープリフトオブジェクト表現を用いて、ビデオから3Dシーンを構築する。 R3D-Benchでは、Qwen3-VL 235BによるR3Dの平均相対精度は73.5%である。
• 参考スコア（独自算出の注目度）: 16.032210860723563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantitative 3D spatial reasoning from egocentric RGB-D video is a critical capability for next-generation wearable assistants. Yet existing benchmarks do not reflect the challenges of handling (1) natural egocentric video, (2) posed RGB-D video inputs, and (3) challenging quantitative 3D spatial reasoning Q&A. To fill this gap, we introduce R3D-Bench (Reasoning in 3D), a benchmark of 3,033 quantitative spatial reasoning questions across 15 types -- spanning multiple-choice, distance-based, and volumetric reasoning questions -- built on top of 57 egocentric video sequences from Aria Digital Twin. To set a strong baseline on this dataset, we introduce R3D, a model-agnostic spatial tool-calling framework. In contrast to existing approaches that directly embed 3D information into the model's input representation, R3D constructs a 3D scene from video using segmentation and depth-lifted object representations. It provides this information to an LLM through eight composable spatial tools. On R3D-Bench, R3D with Qwen3-VL 235B achieves 73.5% mean relative accuracy, substantially outperforming the best depth-enabled baseline (CuTR+Tools, 61.9%) and the best RGB-only baseline (Gemini 3 Flash, 46.5%).
• Abstract（参考訳）: エゴセントリックなRGB-Dビデオからの定量的な3D空間推論は、次世代ウェアラブルアシスタントにとって重要な機能である。 しかし,既存のベンチマークでは,(1)自然中心ビデオ,(2)RGB-Dビデオ入力,(3)定量的3次元空間推論Q&Aの課題を反映していない。 このギャップを埋めるために、R3D-Bench (Reasoning in 3D)を紹介します。R3D-Benchは、Aria Digital Twinの57のエゴセントリックなビデオシーケンスの上に構築された、15のタイプにわたる3,033の量的空間的推論質問(複数選択、距離ベース、ボリューム的推論質問)のベンチマークです。 本稿では,モデルに依存しない空間的ツールコールフレームワークであるR3Dを紹介する。 モデルの入力表現に直接3D情報を埋め込む既存のアプローチとは対照的に、R3Dはセグメンテーションと深度リフトされたオブジェクト表現を用いてビデオから3Dシーンを構築する。 この情報は8つの構成可能な空間ツールを通してLLMに提供されます。 R3D-Benchでは、Qwen3-VL 235BのR3Dの平均相対精度は73.5%であり、最高深度対応ベースライン(CuTR+Tools, 61.9%)と最高RGBのみベースライン(Gemini 3 Flash, 46.5%)を上回っている。

関連論文リスト

• Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs [62.865932175477035]
  計量3Dオブジェクト検出は、エンボディエージェントのコア機能であるが、最も信頼性の高いシステムは深度センサーに頼っている。 提案するMap-Det3Dは,RGBから再構成した3次元空間に直接検出を行うオンラインマルチビュー3Dオブジェクト検出モデルである。
  論文  参考訳（メタデータ） (2026-08-12T15:33:42Z)
• 3D-Aware VLMs with Implicit and Explicit Geometries [72.8641426724502]
  視覚言語モデル(VLM)の3次元空間認識を強化する統合フレームワークであるVLM-IE3Dを提案する。 我々のVLM-IE3Dでは、入力ビデオから高レベルの幾何学的先行をキャプチャするImplicit Geometry Tokens (IGT)と、再構成された3D属性から詳細な幾何学的構造をエンコードする補完的なExplicit Geometry Tokens (EGT)を導入している。 VLM-IE3Dは,3次元映像検出,3次元視覚的グラウンド化,高密度キャプション化,空間的推論など,様々な3次元タスクにおいて一貫した性能を実現している。
  論文  参考訳（メタデータ） (2026-07-23T17:59:59Z)
• Do 3D Large Language Models Really Understand 3D Spatial Relationships? [80.64317885117704]
  3次元大言語モデルは3次元世界、特に物体間の空間的関係を理解していると主張している。 テキストのみの質問応答ペア上での言語モデルの微調整は、3D入力を使わずにSQA3Dベンチマークでこれらの手法を相容・超越することができる。 本稿では,より厳密な評価ベンチマークであるReal-3DQAを紹介する。
  論文  参考訳（メタデータ） (2026-03-06T16:04:34Z)
• N3D-VLM: Native 3D Grounding Enables Accurate Spatial Reasoning in Vision-Language Models [45.008146973701855]
  N3D-VLMは、ネイティブな3Dオブジェクト認識と3D認識の視覚的推論をシームレスに統合する新しい統合フレームワークである。 RGB/RGB-D入力からの回答を直接予測する従来のエンドツーエンドモデルとは異なり、本手法はネイティブな3Dオブジェクト認識機能を備えたモデルである。
  論文  参考訳（メタデータ） (2025-12-18T14:03:44Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• 3D-R1: Enhancing Reasoning in 3D VLMs for Unified Scene Understanding [11.069512983766783]
  大規模視覚言語モデル(VLM)は2次元視覚理解タスクにおいて大きな進歩を遂げている。 本稿では,3次元VLMの推論能力を高める基礎モデルである3D-R1を提案する。 大規模な実験によると、3D-R1は様々な3Dシーンベンチマークで平均10%改善されている。
  論文  参考訳（メタデータ） (2025-07-31T11:59:06Z)
• Lift3D Foundation Policy: Lifting 2D Large-Scale Pretrained Models for Robust 3D Robotic Manipulation [30.744137117668643]
  Lift3Dは、ロバストな3D操作ポリシーを構築するために、暗黙的で明示的な3Dロボット表現で2Dファンデーションモデルを強化するフレームワークである。 実験では、Lift3Dはいくつかのシミュレーションベンチマークや実世界のシナリオで、最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-27T18:59:52Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation [18.964403296437027]
  Act3Dは、手作業に依存する適応的な解像度を持つ3D特徴体を用いて、ロボットのワークスペースを表現する。 粗い方法で3Dポイントグリッドをサンプリングし、相対的な位置の注意を使ってそれらを巧みに加工し、次の点サンプリングのラウンドにフォーカスする場所を選択する。
  論文  参考訳（メタデータ） (2023-06-30T17:34:06Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)
• DSGN: Deep Stereo Geometry Network for 3D Object Detection [79.16397166985706]
  画像ベースとLiDARベースの3Dオブジェクト検出器の間には大きなパフォーマンスギャップがある。 我々の手法であるDeep Stereo Geometry Network (DSGN)は,このギャップを著しく低減する。 初めて、シンプルで効果的な1段ステレオベースの3D検出パイプラインを提供する。
  論文  参考訳（メタデータ） (2020-01-10T11:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。