論文の概要: Towards Surgical World-Action Modeling: A Preliminary Joint Visual-Trajectory Forecasting for Surgical Motion Planning

• arxiv url: http://arxiv.org/abs/2608.20284v1
• Date: Thu, 20 Aug 2026 17:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.659506
• Title: Towards Surgical World-Action Modeling: A Preliminary Joint Visual-Trajectory Forecasting for Surgical Motion Planning
• Title（参考訳）: 外科的ワールド・アクション・モデリングに向けて:外科的運動計画のための予備的な関節型視覚トラジェクトリ予測
• Abstract要約: 本稿では, 将来の視覚状態を同時に予測し, 歴史的外科的観察からトラジェクトリを計測する, 共同視覚軌道世界行動モデルを提案する。 より長い予測地平線上での進行的な視覚劣化と累積軌道誤差を観察する。
• 参考スコア（独自算出の注目度）: 37.17021354294023
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reliable surgical planning requires models to anticipate not only how instruments will move, but also how the operative visual state will evolve together with such motion. Existing approaches typically treat future scene generation and instrument trajectory prediction as two separate tasks. Scene-only models cannot directly evaluate the accuracy of future instrument motion at the trajectory level, while trajectory-only models fail to capture the visual consequences of instrument movement, leaving the consistency between predicted trajectories and future scene evolution unaddressed. Jointly forecasting both provides a more complete account of surgical action-scene dynamics by enabling explicit trajectory-level evaluation while simultaneously modeling the corresponding visual evolution. To bridge this gap, we present a preliminary joint visual-trajectory world-action model that simultaneously forecasts future visual states and instrument trajectories from historical surgical observations. Specifically, we encode historical video frames and tool trajectories into latent representations, which are processed by a temporal-spatial encoder and subsequently decoded through separate visual-state and trajectory prediction heads. Based on this preliminary architecture, a chunked autoregressive rollout is repeatedly applied to predict fifteen future steps. The chunked strategy consistently outperforms direct one-shot prediction across all evaluated horizons, improving first-segment PSNR from 18.86 to 23.11 dB and reducing ADE from 45.77 to 22.22 pixels. These results demonstrate the initial feasibility of joint visual-motion forecasting. However, we observe progressive visual degradation and accumulated trajectory errors over longer prediction horizons, which remain important challenges for future surgical world-action modeling.
• Abstract（参考訳）: 信頼性の高い手術計画には、楽器の動作だけでなく、手術時の視覚状態がそのような動きとともにどのように進化していくかを予測するモデルが必要である。 既存のアプローチは通常、将来のシーン生成と軌道予測を2つの別々のタスクとして扱う。 シーンのみのモデルは、軌跡レベルでの将来の楽器の動きの精度を直接評価することはできないが、軌跡のみのモデルは、楽器の動きの視覚的影響を捉えることができず、予測された軌跡と将来のシーンの進化との整合性は保たない。 共同予測は、対応する視覚的進化を同時にモデル化しながら、明示的な軌跡レベルの評価を可能にすることにより、外科的行動シーンのダイナミクスをより完全な説明を提供する。 このギャップを埋めるために, 将来の視覚状態を同時に予測し, 過去の外科的観察から軌跡を計測するジョイント・ビジュアル・トラジェクティブ・ワールド・アクション・モデルを提案する。 具体的には、歴史的ビデオフレームとツールトラジェクトリを潜在表現に符号化し、時間空間エンコーダで処理し、その後、別々の視覚状態および軌跡予測ヘッドを介して復号する。 この予備アーキテクチャに基づいて、15の将来のステップを予測するために、チャンク付き自己回帰ロールアウトを繰り返し適用する。 チャンクされた戦略は、評価されたすべての地平線で直接一発予測を上回っ、第1セグメントのPSNRを18.86から23.11dBに改善し、ADEを45.77から22.22ピクセルに削減した。 これらの結果から,関節運動予測の可能性が示唆された。 しかし,より長い予測地平線上での進行的な視覚的劣化と軌道誤差が観察され,今後の外科的世界行動モデリングにおいて重要な課題となっている。

関連論文リスト

• SurgWMBench: A Vision-Based Benchmark for World-Modeling Surgical Instrument Motion Planning [20.03554949764767]
  SurgWMBenchは、短期手術運動計画と動的予測のための視覚ベースのベンチマークである。 世界モデルは、視覚状態遷移と運動力学を共同でモデル化するための自然なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-08-08T11:30:50Z)
• FLaRA: Predicting Future Latent Representations for Accident Anticipation [15.994549120609358]
  ダッシュカムビデオからの交通事故を予想することは、インテリジェント交通システムにおいて重要な課題である。 事故予知のための潜在表現を予測することで、このパラダイムをシフトさせる新しい予測アーキテクチャであるFLaRAを提案する。 提案手法は,現実的な早期警告機能を維持しつつ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-06-12T12:16:45Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model [73.03346643967309]
  我々は、効果的な共同運動予測モデルには、時間的連続性と視覚的条件による監督的疎結合の両方が必要であると論じる。 FutureVLAは、視覚情報と運動情報を最初に分離することで、関節振動子埋め込みを抽出するように設計されている。 訓練後の段階において、我々は遅延埋め込みアライメント戦略を採用し、様々な下流VLAモデルによりこれらの時間的先行を内部化することができる。
  論文  参考訳（メタデータ） (2026-03-11T12:39:55Z)
• Future-Aware End-to-End Driving: Bidirectional Modeling of Trajectory Planning and Scene Evolution [96.25314747309811]
  将来的なシーンの進化と軌道計画を共同でモデル化する,新たなエンドツーエンドフレームワークであるSeerDriveを紹介する。 本手法はまず,周辺環境の動態を予測するために,将来の鳥眼ビュー(BEV)の表現を予測する。 2つの重要な要素がこれを可能にする:(1)予測されたBEV機能を軌道プランナーに注入する将来対応計画、(2)反復的なシーンモデリングと車両計画。
  論文  参考訳（メタデータ） (2025-10-13T07:41:47Z)
• Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
  自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。 我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。 我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
  論文  参考訳（メタデータ） (2025-08-27T13:09:55Z)
• Vectorized Representation Dreamer (VRD): Dreaming-Assisted Multi-Agent Motion-Forecasting [2.2020053359163305]
  マルチエージェント動作予測問題に対するベクトル化された世界モデルに基づくアプローチであるVRDを紹介する。 本手法では,従来のオープンループトレーニングシステムと,新しい夢のクローズループトレーニングパイプラインを組み合わせる。 本モデルでは,1つの予測ミスレート測定値に対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-20T15:34:17Z)
• Self-Supervised Action-Space Prediction for Automated Driving [0.0]
  本稿では,自動走行のための新しい学習型マルチモーダル軌道予測アーキテクチャを提案する。 学習問題を加速度と操舵角の空間に投入することにより、運動論的に実現可能な予測を実現する。 提案手法は,都市交差点とラウンドアバウトを含む実世界のデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-09-21T08:27:56Z)
• Panoptic Segmentation Forecasting [71.75275164959953]
  我々の目標は、最近の観測結果から近い将来の予測を行うことです。 この予測能力、すなわち予測能力は、自律的なエージェントの成功に不可欠なものだと考えています。 そこで我々は,2成分モデルを構築した。一方のコンポーネントは,オードメトリーを予測して背景物の力学を学習し,他方のコンポーネントは検出された物の力学を予測する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。