論文の概要: MiMaAlign: Hierarchical Micro-Macro Alignment for Physically Plausible Video Generation
- arxiv url: http://arxiv.org/abs/2610.16482v1
- Date: Mon, 12 Oct 2026 09:36:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 22:56:19.150903
- Title: MiMaAlign: Hierarchical Micro-Macro Alignment for Physically Plausible Video Generation
- Title（参考訳）: MiMaAlign:物理的にプラズブルなビデオ生成のための階層型マイクロマクロアライメント
- Abstract要約: テキスト・ツー・ビデオ(T2V)拡散モデルは高忠実度映像の生成において顕著な進歩を遂げている。
それらはしばしば、不連続な力学や不連続な出来事の相互作用を含む、物理的に不可解な現象を示す。
MiMaAlign は階層的なマイクロマクロアライメントフレームワークで、相補的な動的およびイベント指向の知識を異なる抽象化深さに転送する。
- 参考スコア（独自算出の注目度）: 16.822805372500323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-video (T2V) diffusion models have made remarkable progress in generating high-fidelity visuals, yet their outputs still often exhibit physically implausible phenomena, including discontinuous dynamics and implausible event interactions. Existing representation alignment methods mainly transfer generic video features or short-range motion cues, treating physical plausibility as a single-level representation problem. To address this issue, we propose MiMaAlign, a hierarchical micro-macro alignment framework that transfers complementary dynamics-oriented and event-oriented knowledge into different abstraction depths of a pretrained video diffusion model. Specifically, micro-level continuous dynamics alignment imposes constraints by aligning diffusion features with a continuous-time motion representation learned by a Neural Ordinary Differential Equation (Neural ODE), while macro-level event-commonsense alignment provides representations of object interactions and event semantics through an instruction-prompted vision-language model (VLM). With training-only auxiliary objectives, we align the complementary supervision from the two teachers with shallower and deeper generator features, respectively, enabling the generator to internalize the corresponding physical priors. Empirical evaluations show that, on CogVideoX-2B, MiMaAlign achieves a relative improvement of up to 21.0% in the Physical Commonsense (PC) score on the VideoPhy benchmark over the baseline, and also delivers substantial gains on the highly challenging VideoPhy2 benchmark, while maintaining general video quality on VBench and being supported by blind user comparisons.
- Abstract（参考訳）: テキスト・ツー・ビデオ拡散モデル(T2V)は高忠実度画像の生成において顕著な進歩を遂げているが、その出力は不連続なダイナミックスや不連続なイベント相互作用を含む物理的に不確実な現象をしばしば示している。
既存の表現アライメント手法は主にジェネリックビデオの特徴や短距離モーションキューを転送し、物理的妥当性を単一レベルの表現問題として扱う。
この問題に対処するために、我々は、相補的ダイナミクス指向およびイベント指向の知識を事前訓練されたビデオ拡散モデルの異なる抽象化深さに転送する階層的マイクロマクロアライメントフレームワークであるMiMaAlignを提案する。
具体的には、マイクロレベルの連続力学アライメントは、拡散特徴をニューラル正規微分方程式(Neural Ordinary Differential Equation: ODE)によって学習された連続時間運動表現と整列させることによって制約を課し、マクロレベルのイベント・コモンセンスアライメントは、命令プロンプトされた視覚言語モデル(VLM)を通してオブジェクトの相互作用とイベントセマンティクスの表現を提供する。
学習専用の補助的目的により,2人の教師の補完的指導を,それぞれより浅く,より深いジェネレータ特徴と整合させ,発電者が対応する身体的事前を内在化できるようにした。
実証的な評価によると、CogVideoX-2Bでは、MiMaAlignはベースライン上でのVideoPhyベンチマークの物理コモンセンス(PC)スコアの21.0%までの相対的な改善を実現し、VBenchでの一般的なビデオ品質を維持し、ブラインドユーザ比較によってサポートされながら、非常に挑戦的なVideoPhy2ベンチマークで大幅に向上している。
関連論文リスト
- VIBE: Video Instruction-aligned Background music gEneration [58.326977744404566]
現在のV2Mモデルは意味制御に欠け、命令違反をペナルティ化することができない。
本研究では,コンディショニング接続を利用した新しいテキスト・ビデオ・音楽生成モデルであるVIBEを紹介する。
論文 参考訳（メタデータ） (2026-08-31T01:19:55Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。
MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
論文 参考訳（メタデータ） (2026-04-03T07:32:24Z) - EchoMotion: Unified Human Video and Motion Generation via Dual-Modality Diffusion Transformer [64.69014756863331]
本研究では,外見と人間の動作の同時分布をモデル化するフレームワークであるEchoMotionを紹介する。
また,ビデオトークンとモーショントークンの両方に3次元位置符号化を統一したMVS-RoPEを提案する。
以上の結果から,人間の動きを明示的に表現することは出現することであり,人間中心のビデオ生成のコヒーレンスと妥当性を著しく向上させることが判明した。
論文 参考訳（メタデータ） (2025-12-21T17:08:14Z) - BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration [56.98981194478512]
本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。
MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。
OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
論文 参考訳（メタデータ） (2025-10-01T02:41:11Z) - Dynamic-I2V: Exploring Image-to-Video Generation Models via Multimodal LLM [34.23005193437701]
拡散トランスフォーマー(DiT)アーキテクチャの視覚的条件とテキスト的条件を協調的に符号化するために,MLLM(Multimodal Large Language Models)を統合する革新的なフレームワークであるDynamic-I2Vを提案する。
画像とビデオの生成において、Dynamic-I2Vは最先端のパフォーマンスを実現しており、特に42.5%、7.9%、11.8%のダイナミックレンジ、制御性、品質が大幅に向上している。
論文 参考訳（メタデータ） (2025-05-26T12:29:34Z) - Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation [52.337472185022136]
我々は、静的な画像をテキスト記述に基づいてリアルな映像シーケンスに変換するI2V(Image-to-Video)生成の課題について検討する。
I2V生成を分解する2段階の合成フレームワークを提案する。 (i) 明示的な中間表現生成段階, (ii) この表現に条件付けされたビデオ生成段階。
提案手法は,マルチオブジェクトおよびハイモーションシナリオを用いた挑戦的ベンチマークにおいて評価し,提案手法が最先端の整合性を実現することを実証的に示す。
論文 参考訳（メタデータ） (2025-01-06T14:49:26Z) - VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。
ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。
QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-12-02T14:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。