論文の概要: FlowLoss: Dynamic Flow-Conditioned Loss Strategy for Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2504.14535v1
- Date: Sun, 20 Apr 2025 08:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 23:58:05.049235
- Title: FlowLoss: Dynamic Flow-Conditioned Loss Strategy for Video Diffusion Models
- Title（参考訳）: FlowLoss: ビデオ拡散モデルのための動的フローコンディション損失戦略
- Authors: Kuanting Wu, Kei Ota, Asako Kanezaki,
- Abstract要約: ビデオ拡散モデル(VDM)は高品質なビデオを生成することができるが、時間的に一貫した動きを生み出すのにしばしば苦労する。
本研究では,生成した映像から抽出した流れ場を直接比較するFlowLossを提案する。
本研究は,騒音条件付き生成モデルにモーションベース制御を組み込むための実用的な知見を提供する。
- 参考スコア（独自算出の注目度）: 9.469635938429647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video Diffusion Models (VDMs) can generate high-quality videos, but often struggle with producing temporally coherent motion. Optical flow supervision is a promising approach to address this, with prior works commonly employing warping-based strategies that avoid explicit flow matching. In this work, we explore an alternative formulation, FlowLoss, which directly compares flow fields extracted from generated and ground-truth videos. To account for the unreliability of flow estimation under high-noise conditions in diffusion, we propose a noise-aware weighting scheme that modulates the flow loss across denoising steps. Experiments on robotic video datasets suggest that FlowLoss improves motion stability and accelerates convergence in early training stages. Our findings offer practical insights for incorporating motion-based supervision into noise-conditioned generative models.
- Abstract（参考訳）: ビデオ拡散モデル(VDM)は高品質なビデオを生成することができるが、時間的に一貫した動きを生み出すのにしばしば苦労する。
光フロー監視はこの問題に対処するための有望なアプローチであり、事前の作業では、明示的なフローマッチングを避けるためのワーピングベースの戦略が一般的である。
そこで本研究では,生成したビデオと地平線から抽出した流れ場を直接比較する,新たな定式化であるFlowLossについて検討する。
拡散中の高雑音条件下での流量推定の不確実性を考慮し, 騒音を考慮した重み付け方式を提案する。
ロボットビデオデータセットの実験では、FlowLossは運動の安定性を改善し、初期のトレーニング段階で収束を促進することが示唆されている。
本研究は,騒音条件付き生成モデルにモーションベース制御を組み込むための実用的な知見を提供する。
関連論文リスト
- Flow Matching in the Low-Noise Regime: Pathologies and a Contrastive Remedy [19.64681328133978]
フローマッチングは、生成モデリングと表現学習のための連続時間定式化を提供する。
この枠組みは低雑音体制における根本的な不安定性に悩まされていることを示す。
直接速度回帰を小さな雑音レベルにおける対照的な特徴アライメントに置き換えるハイブリッドトレーニングプロトコルであるLocal Contrastive Flow (LCF)を提案する。
論文 参考訳（メタデータ） (2025-09-25T09:36:41Z) - NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows [75.70583906344815]
拡散モデルは、複雑なマルチモーダルな動作分布をモデル化できるため、アクションデコーダとして広く採用されている。
我々は、Vision-Language-Action(VLA)モデルのための拡散型デコーダの高速かつ表現性の高い代替品であるNinAを提案する。
論文 参考訳（メタデータ） (2025-08-23T00:02:15Z) - DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。
我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。
フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
論文 参考訳（メタデータ） (2025-08-11T09:54:45Z) - FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。
時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
論文 参考訳（メタデータ） (2025-06-01T19:55:33Z) - On Equivariance and Fast Sampling in Video Diffusion Models Trained with Warped Noise [27.524057973734145]
入力雑音の空間変換に同値であるように、歪んだ雑音を訓練できることが示される。
これにより、入力ノイズ中の動きは、生成されたビデオ内の動きと自然に一致させることができる。
EquiVDMはサンプリングのステップをはるかに少なくすることで、同等または優れた品質を達成する。
論文 参考訳（メタデータ） (2025-04-14T01:26:29Z) - MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space [40.60429652169086]
テキスト条件付きストリーミングモーション生成では、可変長の歴史的動きと入ってくるテキストに基づいて、次のステップの人間のポーズを予測する必要がある。
既存の方法は、例えば拡散モデルが予め定義された動き長によって制約されるような、ストリーミングモーション生成を達成するのに苦労している。
本研究では,連続因果遅延空間を確率論的自己回帰モデルに組み込む新しいフレームワークであるMotionStreamerを提案する。
論文 参考訳（メタデータ） (2025-03-19T17:32:24Z) - FlowDPS: Flow-Driven Posterior Sampling for Inverse Problems [51.99765487172328]
逆問題解決のための後部サンプリングは,フローを用いて効果的に行うことができる。
Flow-Driven Posterior Smpling (FlowDPS) は最先端の代替手段よりも優れています。
論文 参考訳（メタデータ） (2025-03-11T07:56:14Z) - One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳（メタデータ） (2025-03-09T09:39:57Z) - Motion-Aware Generative Frame Interpolation [23.380470636851022]
フローベースのフレーム法は、推定中間フローを通しての運動安定性を保証するが、複雑な動き領域で深刻なアーティファクトを導入することが多い。
大規模な事前学習ビデオ生成モデルによって強化された最近の生成的アプローチは、複雑なシーンの処理において有望であることを示している。
本研究では、中間フロー誘導と生成能力を相乗化して忠実度を高める動き認識生成フレーム(MoG)を提案する。
論文 参考訳（メタデータ） (2025-01-07T11:03:43Z) - Video Motion Transfer with Diffusion Transformers [82.4796313201512]
本稿では,参照ビデオの動作を新たに合成したものに転送する方法であるDiTFlowを提案する。
まず、トレーニング済みのDiTを用いて参照ビデオを処理し、クロスフレームアテンションマップを分析し、パッチワイズ動作信号を抽出する。
我々は、位置埋め込みを変換し、ゼロショットモーション転送能力を向上する戦略を適用した。
論文 参考訳（メタデータ） (2024-12-10T18:59:58Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Removing Structured Noise with Diffusion Models [13.50969999636388]
拡散モデルによる後方サンプリングの強力なパラダイムは、リッチで構造化されたノイズモデルを含むように拡張可能であることを示す。
構成雑音による様々な逆問題に対して高い性能向上を示し、競争的ベースラインよりも優れた性能を示す。
これにより、非ガウス測度モデルの文脈における逆問題に対する拡散モデリングの新しい機会と関連する実践的応用が開かれる。
論文 参考訳（メタデータ） (2023-01-20T23:42:25Z) - Learning Task-Oriented Flows to Mutually Guide Feature Alignment in
Synthesized and Real Video Denoising [137.5080784570804]
Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。
既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。
本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
論文 参考訳（メタデータ） (2022-08-25T00:09:18Z) - Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。
我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-09-22T11:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。