論文の概要: Temporal Differential Fields for 4D Motion Modeling via Image-to-Video Synthesis

• arxiv url: http://arxiv.org/abs/2505.17333v1
• Date: Thu, 22 May 2025 23:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.726573
• Title: Temporal Differential Fields for 4D Motion Modeling via Image-to-Video Synthesis
• Title（参考訳）: 映像合成による4次元運動モデリングのための時間差場
• Authors: Xin You, Minghui Zhang, Hanxiao Zhang, Jie Yang, Nassir Navab,
• Abstract要約: 既存の方法は、開始フレームと終了フレームを含む高線量イメージングスキャンが同時に存在する限り、時間運動をシミュレートすることはできない。 我々は,第1フレームと相似して所定の長さの将来のフレームを予測する画像・ビデオ・フレームワークを用いて,通常の動作過程を先駆的にシミュレートする。 本手法は,知覚的類似性や時間的整合性に関する他の競合手法に対抗して,内在性運動軌跡に沿って4次元映像をシミュレートする。
• 参考スコア（独自算出の注目度）: 43.47331808314336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal modeling on regular respiration-induced motions is crucial to image-guided clinical applications. Existing methods cannot simulate temporal motions unless high-dose imaging scans including starting and ending frames exist simultaneously. However, in the preoperative data acquisition stage, the slight movement of patients may result in dynamic backgrounds between the first and last frames in a respiratory period. This additional deviation can hardly be removed by image registration, thus affecting the temporal modeling. To address that limitation, we pioneeringly simulate the regular motion process via the image-to-video (I2V) synthesis framework, which animates with the first frame to forecast future frames of a given length. Besides, to promote the temporal consistency of animated videos, we devise the Temporal Differential Diffusion Model to generate temporal differential fields, which measure the relative differential representations between adjacent frames. The prompt attention layer is devised for fine-grained differential fields, and the field augmented layer is adopted to better interact these fields with the I2V framework, promoting more accurate temporal variation of synthesized videos. Extensive results on ACDC cardiac and 4D Lung datasets reveal that our approach simulates 4D videos along the intrinsic motion trajectory, rivaling other competitive methods on perceptual similarity and temporal consistency. Codes will be available soon.
• Abstract（参考訳）: 正常呼吸誘発運動の時間的モデリングは、画像誘導臨床応用に不可欠である。 既存の方法は、開始フレームと終了フレームを含む高線量イメージングスキャンが同時に存在する限り、時間運動をシミュレートすることはできない。 しかし, 術前データ取得の段階では, 呼吸期の第1フレームと第2フレームの動的背景が生じる可能性がある。 この付加的な偏差は画像登録によってほとんど除去できず、時間的モデリングに影響を及ぼす。 この制限に対処するため,画像間合成フレームワーク(I2V)を用いて,所定の長さの将来のフレームを推定するために第1フレームと相似する通常の動作過程を先駆的にシミュレートした。 さらに,アニメーション映像の時間的一貫性を促進するため,時間差分拡散モデルを用いて時間差分場を生成し,隣接するフレーム間の相対差分表現を測定する。 ファインダー・アテンション・レイヤは微粒な微分場のために考案され、フィールド・アテンション・レイヤは、これらのフィールドとI2Vフレームワークとの相互作用をより良くするために採用され、合成ビデオのより正確な時間的変動を促進する。 ACDCの心臓と4D Lungデータセットの広範な結果から,本手法は内在性運動軌跡に沿って4D動画をシミュレートし,知覚的類似性や時間的整合性に関する他の競合手法と競合することが明らかとなった。 コードも近く公開される予定だ。

関連論文リスト

• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。 我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• Bidirectional Temporal Diffusion Model for Temporally Consistent Human Animation [5.78796187123888]
  本研究では,1つの画像,ビデオ,ランダムノイズから時間的コヒーレントな人間のアニメーションを生成する手法を提案する。 両方向の時間的モデリングは、人間の外見の運動あいまいさを大幅に抑制することにより、生成ネットワーク上の時間的コヒーレンスを強制すると主張している。
  論文  参考訳（メタデータ） (2023-07-02T13:57:45Z)
• Modelling Latent Dynamics of StyleGAN using Neural ODEs [52.03496093312985]
  我々は、GANから独立に反転した潜在符号の軌跡を学習する。 学習した連続軌道により、無限のフレームと一貫したビデオ操作を行うことができる。 提案手法は最先端の性能を実現するが,計算量が少なくなる。
  論文  参考訳（メタデータ） (2022-08-23T21:20:38Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• TSI: Temporal Saliency Integration for Video Action Recognition [32.18535820790586]
  本稿では,SME(Salient Motion Excitation)モジュールとCTI(Cross-scale Temporal Integration)モジュールを主成分とするTSI(Temporal Saliency Integration)ブロックを提案する。 SMEは、局所的な動きモデリングを通して、動きに敏感な領域を強調することを目的としている。 CTIは、それぞれ別々の1D畳み込みの群を通じて、マルチスケールの時間的モデリングを実行するように設計されている。
  論文  参考訳（メタデータ） (2021-06-02T11:43:49Z)
• Learning a Generative Motion Model from Image Sequences based on a Latent Motion Matrix [8.774604259603302]
  画像列の時間的登録をシミュレートして確率的動きモデルを学ぶ。 3つの最先端登録アルゴリズムと比較して,登録精度と時間的にスムーズな整合性が改善された。 また, フレームの欠落のあるシーケンスからの動作再構成を改良し, 動作解析, シミュレーション, 超解像に対するモデルの適用性を実証した。
  論文  参考訳（メタデータ） (2020-11-03T14:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。