論文の概要: EndoWorld-JEPA: Motion-Guided Global-Local Latent World Modeling for Endoscopic Video Representation Learning
- arxiv url: http://arxiv.org/abs/2610.27890v1
- Date: Tue, 20 Oct 2026 09:11:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.736427
- Title: EndoWorld-JEPA: Motion-Guided Global-Local Latent World Modeling for Endoscopic Video Representation Learning
- Title（参考訳）: EndoWorld-JEPA: 映像表現学習のためのモーションガイド型グローバルローカルラテントワールドモデリング
- Abstract要約: 我々は,受動型内視鏡ビデオ前訓練を因果運動誘導潜在状態予測として再構成した。
本稿では,EdoWorld-JEPAについて,内視鏡的ビデオ表現学習のための第1次潜伏型ワールドモデル事前学習フレームワークについて紹介する。
- 参考スコア（独自算出の注目度）: 65.84303330857327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Endoscopic video contains state transitions induced by camera displacement, deformable tissue, and instrument interaction, yet existing pre-training methods treat dynamics implicitly. Inspired by action-conditioned joint-embedding predictive world models and by the observation that endoscopic optical flow contains both shared image-plane displacement and localized residual motion, we reformulate passive endoscopic video pre-training as causal motion-guided latent-state prediction. We present EndoWorld-JEPA, to our knowledge the first latent world-model pre-training framework designed for general-purpose endoscopic video representation learning. In place of recorded actions, calibrated poses, or robot kinematics, the model conditions prediction of the next latent state on motion observed up to the current state. Its Optical Motion-guided module separates dominant displacement from residual motion and converts the resulting evidence into an ordered temporal motion condition and spatial local-motion weights. Complementary global and motion-local predictors use these outputs: the temporal condition modulates both latent transitions, whereas the local weights define an auxiliary motion-local state that extends prediction from scene-level evolution to spatially selective dynamics. Patch-wise motion weighting emphasizes localized change while retaining anatomical context, and past-motion-window dropout randomly withholds the complete motion condition to reduce dependence on unreliable motion. This global--local formulation learns predictable visual--motion dynamics in representation space without reconstructing stochastic appearance artifacts. Evaluation shows that a common pre-trained checkpoint achieves strong transfer across four downstream benchmarks, supporting motion-guided global--local latent prediction as an effective pre-training paradigm for endoscopic video.
- Abstract（参考訳）: 内視鏡的ビデオは、カメラの変位、変形可能な組織、楽器の相互作用によって引き起こされる状態遷移を含むが、既存の事前学習法はダイナミックスを暗黙的に扱う。
動作条件付き共同埋め込み型予測世界モデルにインスパイアされ,画像平面変位と局所的残留運動の両方を含む内視鏡的光学的流れが観察されたことにより,受動型内視鏡映像を因果運動誘導潜在状態予測として再構成した。
本稿では,エンドワールドJEPAについて,汎用的な映像表現学習のために設計された,世界初の潜伏型ワールドモデル事前学習フレームワークについて紹介する。
記録された動作、キャリブレーションされたポーズ、またはロボットキネマティクスの代わりに、モデル条件は現在の状態まで観察された次の潜伏状態を予測する。
光運動誘導モジュールは残留運動から支配的な変位を分離し、その結果の証拠を順序付けられた時間運動条件と空間的局所運動重みに変換する。
時間的条件は、両方の潜伏遷移を変調するが、局所的な重みは、シーンレベルの進化から空間選択的ダイナミクスへの予測を拡張する補助的な動き局所状態を定義する。
パッチワイズ動作重み付けは、解剖学的文脈を維持しながら局所的な変化を強調し、パスモーションウインドアウトは、信頼できない動きへの依存を減らすために、完全な動作条件をランダムに保持する。
このグローバルローカルな定式化は、確率的な外見のアーチファクトを再構築することなく、表現空間における予測可能な視覚運動力学を学習する。
評価の結果、一般的な事前学習チェックポイントは、4つのダウンストリームベンチマークをまたいで強力な転送を実現し、モーションガイド付きグローバルローカル潜伏予測を内視鏡ビデオの効果的な事前学習パラダイムとしてサポートしている。
関連論文リスト
- Decoupling Action from Egocentric Observation for World Simulation [90.38609292843644]
エゴセントリックな行動伝達は、エゴセントリックな観察からセマンティックな行動を切り離し、新しい視覚的文脈でそれらを再現することを目的としている。
本稿では,エゴセントリックな行動伝達のためのテストタイムフレームワークであるEgoACTについて紹介する。
EgoActionBenchは、多様なエゴセントリックな操作シナリオにおいて、アクションの保存、視覚的品質、手動の可視性を評価するためのベンチマークである。
論文 参考訳（メタデータ） (2026-10-20T09:52:46Z) - EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ [67.89251850608498]
EgoExplorerは、ウェアラブルシステムで構築された人間のロボ操作の100時間の視覚モーションタッチ観測所である。
プロの活動に重点を置いて、その連続的な録音は、エゴセントリックなビデオと、再構築された全身の動きとを一致させる。
我々は,このカバーをスパースボディセンシングで実現するために,Calibrate-Complete-Constrainパイプラインを開発した。
論文 参考訳（メタデータ） (2026-10-13T17:59:55Z) - EndoWAM: A Grounded World-Action Model for Generalizable Endoscopic Navigation [12.580242508201827]
本稿では,ロボットの内視鏡ナビゲーションを一般化する最初のWAMについて紹介する。
映像ワールドモデルの中間的聴覚特徴から,今後の観測におけるタスク関連対象領域の予測を行う。
この設計は、目標認識の監視を予測力学モデリングに注入し、視覚的劣化と視点変化に対する堅牢性を改善する。
論文 参考訳（メタデータ） (2026-08-02T13:11:22Z) - EgoMoD: Predicting Global Maps of Dynamics from Local Egocentric Observations [3.5831173106587393]
Maps of Dynamics (MoDs) は、長期のグローバルプランニングに有用な空間における動き傾向の構造化された表現を提供する。
EgoMoDは,ロボット操作中に収集した短い自我中心のビデオクリップから直接,未来のMoDを予測するための最初のアプローチである。
本手法は,外部観測から学習したMoDを用いて学習した映像とポーズ条件のアーキテクチャを用いて,局所的な動的キューから環境全体の動き傾向を推定する。
論文 参考訳（メタデータ） (2026-02-26T09:56:21Z) - Semantic Belief-State World Model for 3D Human Motion Prediction [0.0]
本研究では,人間の動作予測を人体多様体上の潜在力学シミュレーションとして再構成するセマンティック・リーフ・ステート・ワールド・モデルを提案する。
SBWMは、モデルに基づく強化学習のために開発された信念状態の世界モデルにインスパイアされ、潜伏遷移とロールアウト中心のトレーニングを人間の動作領域に適用する。
論文 参考訳（メタデータ） (2026-01-07T02:06:26Z) - Characterizing Motion Encoding in Video Diffusion Timesteps [50.13907856401258]
本研究では,映像拡散時間ステップにおける動きのエンコードについて,外観編集と動作保存のトレードオフによって検討する。
動作優位の早期体制と,その後に出現優位の体制を同定し,時間空間における動作優位の境界を導出する。
論文 参考訳（メタデータ） (2025-12-18T21:20:54Z) - Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。
提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
論文 参考訳（メタデータ） (2024-10-10T10:24:59Z) - DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local
Spherical-BEV Perception [54.02566476357383]
本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。
次に、最終動作合成のために潜在動作を動的に更新する。
その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
論文 参考訳（メタデータ） (2024-03-04T05:38:16Z) - MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying
Motions [70.30211294212603]
本稿では,空間と時間の両方に連続する時空変動を予測できる新たな次元からビデオ予測を行う。
本研究では,動きの複雑な変動を捉え,時空変化に適応できるMotionRNNフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-03T08:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。