論文の概要: LAST: LeArning to Think in Space and Time for Generalist Vision-Language Models
- arxiv url: http://arxiv.org/abs/2511.19261v1
- Date: Mon, 24 Nov 2025 16:13:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.300445
- Title: LAST: LeArning to Think in Space and Time for Generalist Vision-Language Models
- Title（参考訳）: LAST: 一般のビジョンランゲージモデルのための空間と時間を考えるLeArning
- Authors: Shuai Wang, Daoan Zhang, Tianyi Bai, Shitong Shao, Jiebo Luo, Jiaheng Wei,
- Abstract要約: 一般的な視覚言語モデルにおける3次元空間的および長時間の映像理解を改善するために,LASTを提案する。
LASTは,3つの空間的理解,4つの映像理解,3つの画像理解タスクを含む,様々なベンチマークにおいて大きな利益をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 50.50563228383038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can perceive and understand 3D space and long videos from sequential visual observations. But do vision-language models (VLMs) can? Recent work demonstrates that even state-of-the-art VLMs still struggle to understand 3D space and long videos, although they are powerful in typical vision-language tasks. Current methods often rely on specialized architectural designs to improve performance for 3D tasks and video understanding tasks separately. In contrast, we propose LAST, short for LeArn to Think in Space and Time, to jointly improve 3D spatial and long video understanding for general VLMs with only a set of 2D images as inputs. LAST makes VLMs think in space and time rather than only with text before giving the final answer, building visual thinking trajectories in 3D space and temporal dimension. We demonstrate the effectiveness of LAST in two scenarios: 1) zero-shot, where we directly prompt proprietary models; and 2) fine-tuning general VLMs with data that include thinking trajectories in 3D space and time. We show that LAST brings substantial gains in various benchmarks, including 3 spatial understanding, 4 video understanding, and 3 image understanding tasks. Notably, 15.8% gains on EgoSchema with GPT-4o in a zero-shot manner and 8.3 gains on VSI-Bench compared with Qwen2.5-VL-7B.
- Abstract（参考訳）: 人間は連続した視覚的な観察から3D空間と長いビデオを理解し理解することができる。
しかし、視覚言語モデル(VLM)は可能だろうか?
最近の研究は、最先端のVLMでさえ3D空間や長いビデオを理解するのに苦戦していることを示している。
現在の手法は、しばしば3Dタスクとビデオ理解タスクを別々に改善するために、特別なアーキテクチャ設計に依存している。
対照的に、LAST(Learn to Think in Space and Time)は2次元画像のみを入力として、一般的なVLMの3次元空間と長時間の映像理解を協調的に改善する。
LASTは、VLMを3次元空間と時間次元に視覚的思考軌道を構築することで、最後の答えを与える前にテキストでのみ考えるのではなく、空間と時間で考えるようにする。
LASTの有効性を2つのシナリオで示す。
1)ゼロショットでは、プロプライエタリなモデルを直接プロンプトします。
2)3次元空間と時間における思考軌跡を含むデータを用いた微調整一般VLM。
LASTは,3つの空間的理解,4つの映像理解,3つの画像理解タスクを含む,様々なベンチマークにおいて大きな利益をもたらすことを示す。
特に、GPT-4oでEgoSchemaで15.8%、VSI-Benchで8.3、Qwen2.5-VL-7Bで8.8%が上昇した。
関連論文リスト
- Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。
我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。
提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文 参考訳（メタデータ） (2025-11-14T04:16:09Z) - VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。
VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文 参考訳（メタデータ） (2025-05-26T17:56:30Z) - GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models [39.488763757826426]
2次元視覚言語モデル(VLM)は、画像テキスト理解タスクにおいて大きな進歩を遂げている。
近年の進歩は、3Dポイントクラウドとマルチビューイメージを入力として活用し、有望な結果をもたらしている。
人間の知覚にインスパイアされた視覚ベースのソリューションを提案する。
論文 参考訳（メタデータ） (2025-01-02T18:59:59Z) - Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。
本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。
この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
論文 参考訳（メタデータ） (2024-08-01T17:57:12Z) - Multi-View Transformer for 3D Visual Grounding [64.30493173825234]
3次元視覚グラウンドリングのためのマルチビュー変換器(MVT)を提案する。
我々は3Dシーンを多視点空間に投影し、異なるビュー下の3Dシーンの位置情報を同時にモデル化して集約する。
論文 参考訳（メタデータ） (2022-04-05T12:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。