論文の概要: K2V: Generative Keyframing For Physically Plausible Video Generation
- arxiv url: http://arxiv.org/abs/2611.17324v1
- Date: Thu, 12 Nov 2026 18:59:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.602087
- Title: K2V: Generative Keyframing For Physically Plausible Video Generation
- Title(参考訳): K2V:物理的に可塑性のビデオ生成のための生成キーフレーミング
- Abstract要約: 古典的なビデオ生成環境では、すべての物理的推論は、拡散過程の中で同時に、排他的に行われなければならない。
本稿では,言語モデルに支援された生成モジュールに物理推論のタスクを再分配することで,これらの問題を解決することを提案する。
次に、これらのエラーをビデオ生成モデルに条件付け、拡散モデルの役割を物理的に正しい中間状態間を補間する簡単なタスクに還元する。
- 参考スコア(独自算出の注目度): 25.288064702539952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video diffusion models are able to generate samples with high-quality appearance and textural qualities. However, content produced by these methods is known to exhibit significant physical errors. This is because, in a classical video generation setting, all physical reasoning must take place simultaneously and exclusively within the diffusion process.We propose to resolve these issues by redistributing the task of physical reasoning onto a language model-backed keyframe generation module, which allows for explicit reasoning in language, and fine-grained control over the appearance of the video at important moments in the video. We then condition a video generation model with these keyframes, reducing the role of the diffusion model to the simpler task of interpolating between physically-correct intermediate states, rather than inferring an entire sequence with diffusion. Results demonstrate that our approach significantly outperforms existing approaches, achieving state-of-the-art performance on the Physics-IQ Verified benchmark and PhyGenBench.
- Abstract(参考訳): ビデオ拡散モデルは、高品質な外観とテクスチュラルな品質のサンプルを生成することができる。
しかし、これらの手法によって生成された内容は、重大な物理的誤りを示すことが知られている。
これは、古典的なビデオ生成環境では、すべての物理的推論が拡散過程内で同時に行われなければならないためであり、我々は、言語モデルに基づくキーフレーム生成モジュールに物理推論のタスクを再分配し、ビデオの重要な瞬間における映像の出現を詳細に制御することで、これらの問題を解決することを提案する。
次に、これらのキーフレームで映像生成モデルを条件化し、拡散モデルの役割を拡散を伴う全シーケンスを推測するのではなく、物理的に正しい中間状態を補間する簡単なタスクに還元する。
その結果,PhyGenBench と Physics-IQ Verified ベンチマークの最先端性能を達成し,既存手法を著しく上回る結果を得た。
関連論文リスト
- CausalMotion: Structured Physical Reasoning as Keyframe and Trajectory Guidance for Training-Free Video Generation [31.482087672315895]
textbfCausalMotionは、構造化中間表現を通じてビデオ生成に明示的な物理的推論を注入する。
我々の手法は、特に動的に集中したシナリオにおいて、物理的妥当性と時間的コヒーレンスを一貫して改善する。
論文 参考訳(メタデータ) (2026-06-12T09:57:01Z) - Demystifing Video Reasoning [71.53763299316041]
ビデオモデルにおける推論は、主に拡散認知のステップに沿って現れることを示す。
モデル性能に重要ないくつかの創発的推論行動を特定する。
これらの知見に触発され、私たちは概念実証としてトレーニングフリー戦略を提示した。
論文 参考訳(メタデータ) (2026-03-17T17:59:55Z) - Think Before You Diffuse: Infusing Physical Rules into Video Diffusion [55.046699347579455]
実世界の動き、相互作用、ダイナミクスの複雑さは、データから物理を学ぶ際に大きな困難をもたらす。
DiffPhyは、トレーニング済みの動画拡散モデルを微調整することで、物理的に正確でリアルな映像生成を可能にする汎用的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-27T18:26:43Z) - DIVD: Deblurring with Improved Video Diffusion Model [8.816046910904488]
拡散モデルとビデオ拡散モデルは、画像生成やビデオ生成の分野で優れている。
本稿では,ビデオデブロアリングに特化してビデオ拡散モデルを提案する。
我々のモデルは既存のモデルより優れており、様々な知覚的指標について最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-12-01T11:39:02Z) - Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳(メタデータ) (2023-12-11T18:54:52Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳(メタデータ) (2023-04-06T17:59:56Z) - VIDM: Video Implicit Diffusion Models [75.90225524502759]
拡散モデルは、高品質で多様な画像の集合を合成するための強力な生成方法として登場した。
本研究では,移動の効果を暗黙の条件でモデル化する拡散モデルに基づく映像生成手法を提案する。
我々は,空間トランケーションのサンプリング,ロバストネスペナルティ,位置群正規化などの複数の戦略を提案することにより,生成されたビデオの品質を向上させる。
論文 参考訳(メタデータ) (2022-12-01T02:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。