論文の概要: A 4D Representation for Training-Free Agentic Reasoning from Monocular Laparoscopic Video

• arxiv url: http://arxiv.org/abs/2604.00867v1
• Date: Wed, 01 Apr 2026 13:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.002785
• Title: A 4D Representation for Training-Free Agentic Reasoning from Monocular Laparoscopic Video
• Title（参考訳）: 単眼視下腹腔鏡視下手術自由エージェント推論のための4次元表現法
• Authors: Maximilian Fehrentz, Nicolas Stellwag, Robert Wiebe, Nicole Thorisch, Fabian Grob, Patrick Remerscheid, Ken-Joel Simmoteit, Benjamin D. Killeen, Christian Heiliger, Nassir Navab,
• Abstract要約: 本稿では,AIシステムの自然言語推論を時間空間と3次元空間の両方で基礎付けるためのフレームワークを提案する。 MLLM(Multimodal Large Language Model)は、明示的な4D表現から派生したツールのエージェントとして機能する。 本研究では,2次元MLLMと3次元コンピュータビジョンモデルから時間的インテリジェンスを「組み立て」することが可能であることを実証した。
• 参考スコア（独自算出の注目度）: 28.680402453966263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatiotemporal reasoning is a fundamental capability for artificial intelligence (AI) in soft tissue surgery, paving the way for intelligent assistive systems and autonomous robotics. While 2D vision-language models show increasing promise at understanding surgical video, the spatial complexity of surgical scenes suggests that reasoning systems may benefit from explicit 4D representations. Here, we propose a framework for equipping surgical agents with spatiotemporal tools based on an explicit 4D representation, enabling AI systems to ground their natural language reasoning in both time and 3D space. Leveraging models for point tracking, depth, and segmentation, we develop a coherent 4D model with spatiotemporally consistent tool and tissue semantics. A Multimodal Large Language Model (MLLM) then acts as an agent on tools derived from the explicit 4D representation (e.g., trajectories) without any fine-tuning. We evaluate our method on a new dataset of 134 clinically relevant questions and find that the combination of a general purpose reasoning backbone and our 4D representation significantly improves spatiotemporal understanding and allows for 4D grounding. We demonstrate that spatiotemporal intelligence can be "assembled" from 2D MLLMs and 3D computer vision models without additional training. Code, data, and examples are available at https://tum-ai.github.io/surg4d/
• Abstract（参考訳）: 時空間推論は、軟組織手術における人工知能(AI)の基本的な能力であり、インテリジェントな補助システムと自律ロボット工学への道を開く。 2次元視覚言語モデルでは, 手術映像の理解への期待が高まる一方で, 手術シーンの空間的複雑さは, 推論系が明示的な4次元表現の恩恵を受けることを示唆している。 本稿では,3次元空間と時間空間の両方において,AIシステムが自然言語推論の基盤となるように,明示的な4次元表現に基づく時空間ツールを用いた外科的エージェントの装備フレームワークを提案する。 点追跡,深度,セグメンテーションのモデルを用いて,時空間的に一貫したツールと組織意味を持つコヒーレントな4Dモデルを開発する。 MLLM (Multimodal Large Language Model) は、細調整なしで明示的な4D表現(例: trajectories)から派生したツールのエージェントとして機能する。 臨床的に関連のある134の質問のデータセットを用いて本手法の評価を行い,一般的な目的推論バックボーンと4D表現の組み合わせは時空間的理解を著しく改善し,4Dグラウンド化を可能にした。 本研究では,2次元MLLMと3次元コンピュータビジョンモデルから時空間インテリジェンスを「組み立てる」ことができることを示した。 コード、データ、例はhttps://tum-ai.github.io/surg4d/で公開されている。

関連論文リスト

• ST-VLA: Enabling 4D-Aware Spatiotemporal Understanding for General Robot Manipulation [33.92613503473177]
  本稿では,3D-4Dの統一表現を用いた3D-4D表現を提案する。 STHumanは,14,300kエピソード,注釈付き2D,3D,4Dコンテキストを備えた大規模ヒューマン操作データセットである。 RLBenchと実世界の操作タスクの実験は、手法が最先端のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-14T06:36:48Z)
• MLLM-4D: Towards Visual-based Spatial-Temporal Intelligence [50.11889361459544]
  人間は視覚に基づく4D空間時間知能で生まれる。 その重要性にもかかわらず、この機能は現在の大規模言語モデル(MLLM)にとって重要なボトルネックであり続けている。
  論文  参考訳（メタデータ） (2026-02-28T07:23:36Z)
• VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation [54.81449795163812]
  時間的コヒーレントなロボット操作のための4次元認識型汎用VLAモデルを開発した。 視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。 この枠組みの中で、デザインされた視覚アクションは、空間的に滑らかで時間的に一貫したロボット操作を共同で行う。
  論文  参考訳（メタデータ） (2025-11-21T12:26:30Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Advances in 4D Representation: Geometry, Motion, and Interaction [21.99533577912307]
  コンピュータグラフィックスの高速進化サブフィールドである4次元生成と再構成について調査する。 私たちは4D表現のユニークで独特な視点から、ドメインのカバレッジを構築します。
  論文  参考訳（メタデータ） (2025-10-22T05:22:20Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• Brain3D: Generating 3D Objects from fMRI [78.46936519561298]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。