論文の概要: Learning Motion-Appearance Coupling Priors for Solving Video Inverse Problems
- arxiv url: http://arxiv.org/abs/2611.15420v1
- Date: Wed, 11 Nov 2026 12:48:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.142956
- Title: Learning Motion-Appearance Coupling Priors for Solving Video Inverse Problems
- Title(参考訳): 映像逆問題解決のための動き提示結合の事前学習
- Abstract要約: 本稿では, 動きとフレームの外観の結合を生成前として学習することを提案する。
映像再生のためのプラグインレギュレータとして機能する。
動的ビデオ逆問題に対する実験により、学習した動き-外観結合による再構成は、光メトリック一貫性とノイズウォーピングベースラインを上回っていることが示された。
- 参考スコア(独自算出の注目度): 19.369211325496583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing video from degraded measurements requires priors that capture both frame appearance and temporal dynamics. Many recent approaches combine pretrained image diffusion priors with motion guidance, sidestepping the costs of training large video models. Temporal consistency is often enforced via photometric losses or warping-based constraints, which implicitly assume that motion explains frame-to-frame or latent-to-latent changes up to small deviations, an assumption that fails under occlusions, lighting changes, and non-rigid deformation. In this paper, we propose to learn the coupling between motion and frame appearance as a generative prior. We learn the distribution of motion-induced appearance residuals with a conditional diffusion model and use it to regularize reconstruction in video inverse problems. Our motion-appearance prior acts as a plug-in regularizer for diffusion-based video reconstruction, preserving the benefits of image diffusion models while remaining compatible with existing appearance regularization techniques. Experiments on dynamic video inverse problems show that reconstruction with a learnt motion-appearance coupling prior outperforms photometric-consistency and noise-warping baselines, and that the approach also transfers to cardiac MRI reconstruction.
- Abstract(参考訳): 劣化測定からビデオを再構築するには、フレームの外観と時間的ダイナミクスの両方をキャプチャする事前を必要とする。
最近の多くのアプローチは、事前訓練された画像拡散先行とモーションガイダンスを組み合わせることで、大きなビデオモデルをトレーニングするコストをサイドステッピングしている。
時間的一貫性は、フォトメトリックロスやワーピングに基づく制約によって強制されることが多く、これは運動がフレーム・ツー・フレームやラテント・トゥ・ラテントの変化を小さな偏差まで説明していると暗黙的に仮定する。
本稿では,動きとフレームの外観の結合を生成前として学習することを提案する。
本研究では、条件付き拡散モデルを用いて動き誘発残差の分布を学習し、ビデオ逆問題における再構成の正則化に利用する。
画像拡散モデルの利点を保ちつつ,既存の画像正規化技術と互換性を保ちながら,映像拡散画像再構成のためのプラグインレギュレータとして機能する。
動的ビデオ逆問題に対する実験により、学習した動き-外観結合による再構成は、フォトメトリック一貫性とノイズウォーピングベースラインを上回っ、また、アプローチは心臓MRI再構成にも移行することが示された。
関連論文リスト
- Taming Noise Initialization for Zero-shot Video Restoration with Image Diffusion Priors [77.22403783950752]
増加傾向は、事前訓練された画像拡散モデルを利用して、フレームワイド独立あるいは同一のガウスノイズからの復元を開始することによって、映像復元に対処しようとするものである。
しかし、このような単純なノイズ発生は、劣化したビデオフレーム内の固有の時間的相関を捉え、利用できないため、これらのアプローチはしばしば短くなる。
本研究では,劣化したビデオフレーム自体のDDIMインバージョンを直接生成することにより,固有時間相関を保ちながら,ゼロショット映像の再生を行う手法を提案する。
論文 参考訳(メタデータ) (2026-10-27T14:13:34Z) - Improving Temporal Consistency and Fidelity at Inference-time in Perceptual Video Restoration by Zero-shot Image-based Diffusion Models [5.61537470581101]
ゼロショット画像ベース拡散モデルを用いたビデオ再生における時間的コヒーレンス向上の課題に対処する。
本稿では,PSG(Perceptual Straightening Guidance)とMPES(Ensemble Sampling)の2つの補完的推論時間戦略を提案する。
論文 参考訳(メタデータ) (2025-10-29T11:40:06Z) - LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。
我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
論文 参考訳(メタデータ) (2025-10-01T18:10:08Z) - DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。
我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。
フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
論文 参考訳(メタデータ) (2025-08-11T09:54:45Z) - FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。
時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
論文 参考訳(メタデータ) (2025-06-01T19:55:33Z) - STeP: A Framework for Solving Scientific Video Inverse Problems with Spatiotemporal Diffusion Priors [27.45644471304381]
既存の拡散に基づく手法は、測定から直接時間的一貫性を抽出することに依存している。
学習時間拡散を前もって組み込んだプラグアンドプレイフレームワークを提案する。
本研究では,時間的拡散モデルを限られたビデオデータで効率的に訓練できることを実証する。
論文 参考訳(メタデータ) (2025-04-10T08:24:26Z) - Image Motion Blur Removal in the Temporal Dimension with Video Diffusion Models [3.052019331122618]
本研究では,動きのぼかしを時間的平均化現象として扱う新しい単一像デブロアリング手法を提案する。
私たちの中心となるイノベーションは、トレーニング済みの動画拡散トランスフォーマーモデルを利用して、多様な動きのダイナミクスを捉えることです。
合成および実世界のデータセットにおける実験結果から,本手法は複雑な動きのぼかしシナリオを損なう場合,既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2025-01-22T03:01:54Z) - Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。
本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。
また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
論文 参考訳(メタデータ) (2024-09-04T09:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。