論文の概要: Thinking from Above: Efficient Spatial Reasoning with Bird's-Eye-View Visual Tokens

• arxiv url: http://arxiv.org/abs/2610.22700v1
• Date: Thu, 15 Oct 2026 22:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.686519
• Title: Thinking from Above: Efficient Spatial Reasoning with Bird's-Eye-View Visual Tokens
• Title（参考訳）: 上から考える:鳥のEye-Viewビジュアルトークンを用いた効率的な空間推論
• Abstract要約: 私たちはCambrian-BEVを紹介します。これは、各フレームから視覚パッチ機能を、共有鳥眼ビュー(BEV)にバックプロジェクションします。 視点や時間ステップに関わらず、同じ物理的位置の観測は、共通の空間トークンに集約される。 OnBenchでは、同じ細調整のフレームコントロール上で63.48$ポイントに達し、112.6times$少額のビジュアルトークンで、特に部屋サイズが大きく向上した。 ReVSIでは、対応するコントロールに対して4468,$+4.5$に達する。
• 参考スコア（独自算出の注目度）: 2.513240263482118
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing video multimodal large language models (MLLMs) organize observations primarily in time, but embodied spatial reasoning requires organizing them in space. Consequently, their visual representations can remain locally consistent across nearby frames while lacking a persistent spatial context that is stable across viewpoints and time. We exploit depth and camera pose, which are naturally available to embodied agents, to explicitly establish this spatial correspondence. We introduce Cambrian-BEV, which extends Cambrian-S with a parameter-free geometric tokenization scheme that back-projects visual patch features from each frame into a shared bird's-eye-view (BEV) coordinate frame and averages features that fall within the same spatial cell. Thus, observations of the same physical location, regardless of viewpoint or time step, are aggregated into a common spatial token. In addition to providing a persistent scene representation, this formulation acts as an efficient compression mechanism: 128 frames containing approximately 100K DINOv3 patch features are consolidated into a fixed 27$\times$27 grid of only 729 BEV tokens, cutting LLM prefill time by $2.9\times$ and peak memory by $3.6\times$. Cambrian-BEV requires no architectural modification beyond BEV tokenization and uses a frozen DINOv3 vision encoder with a trainable multimodal projector and LLM. On VSI-Bench, our model reaches 63.48, $+8.5$ points over an identically fine-tuned frame-token control with $12.6\times$ fewer visual tokens, with particularly large gains on room size ($+24.5$) and relative direction ($+34.1$). On ReVSI, it reaches 44.68, $+4.5$ over the corresponding control.
• Abstract（参考訳）: 既存のビデオマルチモーダル大言語モデル(MLLM)は、主に時間内に観察を整理するが、空間的推論を具体化するためには、それらを空間的に整理する必要がある。 したがって、それらの視覚的表現は、視点や時間にわたって安定な永続的な空間的コンテキストを欠きながら、近隣のフレーム間で局所的に一貫性を保つことができる。 我々は、この空間的対応を明確に確立するために、エンボディエージェントが自然に利用できる奥行きとカメラのポーズを利用する。 我々はCambrian-BEVを導入し、Cambrian-Sをパラメータフリーな幾何トークン化方式で拡張し、各フレームからの視覚的パッチ特徴を共有鳥眼視(BEV)座標フレームにバックプロジェクションし、同じ空間セル内にある特徴を平均化する。 これにより、視点や時間ステップに関わらず、同じ物理位置の観測を共通の空間トークンに集約する。 約100KのDINOv3パッチ機能を含む128フレームは729のBEVトークンの27$\times$27グリッドに統合され、LLMプリフィル時間を2.9\times$、ピークメモリを3.6\times$に削減する。 Cambrian-BEVは、BEVトークン化以外のアーキテクチャ変更は必要とせず、トレーニング可能なマルチモーダルプロジェクタとLDMを備えた凍結DINOv3ビジョンエンコーダを使用する。 VSI-Benchでは、同じ細調整のフレームトーケンコントロールに対して63.48,$+8.5$ポイントに達し、12.6\times$より少ないビジュアルトークンで、特に部屋サイズ(+24.5$)と相対方向(+34.1$)で大きな利益を得ている。 ReVSIでは、対応する制御に対して44.68,$+4.5$に達する。

関連論文リスト

• DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models [79.20430197755103]
  視覚言語モデルは、視界を横切る3次元空間関係を理解し、観察者が動くにつれて空間判断を更新するのに依然として苦労している。 本稿では,視覚トークンの入力位置とシーン内の幾何学的位置の両方から注目度を算出するDK-VLMを提案する。
  論文  参考訳（メタデータ） (2026-10-15T17:58:15Z)
• GeoGR: Spatial-Semantic Token Compression and Group Routing for Efficient 3D VLMs [25.88673172318777]
  マルチビュー表現により、事前訓練された画像とビデオビジョン言語モデルで3Dシーンを理解できる。 冗長性は、ビューをまたいだ同じシーン領域の繰り返し観察と、すべてのLCM層で全ての視覚トークンを処理することから生じる。 シーン表現と視覚計算を共同で圧縮する2段階フレームワークであるGeoGRを提案する。
  論文  参考訳（メタデータ） (2026-10-09T05:46:54Z)
• CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs [58.22241532542095]
  3Dシーンをマルチビュー画像として表現することで、2D VLMは事前学習の事前知識を再利用し、注釈付き3Dデータの不足を補うことで3Dを推論することができる。 既存の視覚トークンプルーナーは2つのファミリーに分かれ、それぞれが3Dマルチビュー設定に制限される。 空間被覆は3次元推論性能と関連し,トークン座標のみを用いた決定論的学習自由セレクタであるCoVeRを導入し,学習信号を持たないことを示す。
  論文  参考訳（メタデータ） (2026-09-08T07:16:37Z)
• MOSH-WM: Mask-Grounded Soft-Hamiltonian Dynamics for Object-Centric World Models [15.781217374612238]
  Methodはマスクで座ったソフト・ハミルトンの世界モデルであり、位置のような状態をスロット所有の画像サポートに明示的に依存させる。 6つの観測フレームが与えられ、以下の30フレームで評価されたOBJ3Dでは、LPIPSを25.0%、空間MSEを33.7%削減する。
  論文  参考訳（メタデータ） (2026-08-24T03:17:21Z)
• RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation [0.0]
  RS$3$-Pruneは、推論時間フックの小さなセットとしてインスタンス化される、トレーニング不要なトークン処理のレシピである。 RS$3$-Pruneは最大38.8%のFPSスピードアップを提供し、13.1%のピークメモリ使用量を減らす。
  論文  参考訳（メタデータ） (2026-08-23T17:51:58Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• $I^{2}$-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting [2.722128680610171]
  I2$-Worldは、4D占有率予測のための効率的なフレームワークである。 本手法は,シーントークン化をシーン内およびシーン間トークン化剤に分解する。 I2$-Worldは最先端のパフォーマンスを達成し、既存の手法を25.1%のmIoUで、36.9%のIoUで4D占有率予測で上回っている。
  論文  参考訳（メタデータ） (2025-07-12T05:14:39Z)
• Efficient Masked AutoEncoder for Video Object Counting and A Large-Scale Benchmark [52.339936954958034]
  前景の動的不均衡は、ビデオオブジェクトのカウントにおいて大きな課題である。 本稿では,密度埋め込み型効率的なマスドオートエンコーダカウント(E-MAC)フレームワークを提案する。 さらに,渡り鳥保護のための自然シナリオにおいて,まず,大規模なビデオバードカウントデータセットであるDroneBirdを提案する。
  論文  参考訳（メタデータ） (2024-11-20T06:08:21Z)
• Stand-Alone Inter-Frame Attention in Video Models [164.06137994796487]
  フレーム間アテンションブロック,すなわちスタンドアローン時空間アテンション(SIFA)の新たなレシピを提案する。 SIFAは、2つのフレームの違いによってオフセット予測を再スケーリングすることで、変形可能な設計を再構築する。 さらに、SIFAブロックをConvNetsとVision Transformerにプラグインし、SIFA-NetとSIFA-Transformerを考案する。
  論文  参考訳（メタデータ） (2022-06-14T15:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。