論文の概要: Householder Motion Embedding: Noise Modulation for Motion-Controllable Video Generation
- arxiv url: http://arxiv.org/abs/2611.07294v1
- Date: Thu, 05 Nov 2026 01:14:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.483729
- Title: Householder Motion Embedding: Noise Modulation for Motion-Controllable Video Generation
- Title(参考訳): 家庭用モーション埋め込み:モーション制御可能なビデオ生成のためのノイズ変調
- Abstract要約: 家事運動埋め込み(HME)は、家事反射の連続を通して音に運動信号を符号化する。
異なるシナリオでの実験では、HMEはノイズワープよりも2.7倍のスピードアップを達成する一方で、芸術の状態をマッチまたは上回っている。
- 参考スコア(独自算出の注目度): 53.31771882693573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models for video generation have achieved remarkable success, yet precise motion control under explicit user guidance remains challenging. Recent noise-warping methods introduce temporal correlations by warping the noise according to the user-provided motion signal. However, standard spatial warping generally disrupts the noise's i.i.d. Gaussian structure, requiring distribution correction, such as Jacobian-based correction, but at a substantial computational overhead. We propose Householder Motion Embedding (HME), which encodes the motion signal into the noise through a sequence of Householder reflections that together form an orthogonal transformation applied to each location's channel vector. HME exactly preserves the spatial Gaussian structure within each frame while introducing cross-frame correlations that promote temporally consistent video. HME is agnostic to the network architecture and integrates directly into standard video diffusion fine-tuning pipelines. Experiments on different scenarios show that HME matches or outperforms the state of the art, while achieving a 2.7x speedup over noise warping. These results demonstrate that channel-space Householder transformations offer a principled and efficient alternative to noise warping for motion-controllable video generation.
- Abstract(参考訳): ビデオ生成のための拡散モデルは非常に成功したが、明示的なユーザーガイダンスの下での正確な動作制御は依然として困難である。
近年のノイズワープ法では, ユーザが提案する動作信号に応じてノイズをワープすることで時間的相関を導入する。
しかし、標準空間のワープは一般的にノイズのすなわちガウス構造を妨害し、ジャコビアンベースの補正のような分布補正を必要とするが、かなりの計算オーバーヘッドがある。
本研究では,各位置のチャネルベクトルに対して直交変換を施した一連のリフレクションを用いて,動き信号を雑音に符号化するHMEを提案する。
HMEは、時間的に一貫したビデオを促進するクロスフレーム相関を導入しながら、各フレーム内の空間ガウス構造を正確に保存する。
HMEはネットワークアーキテクチャに非依存であり、標準的なビデオ拡散微細チューニングパイプラインに直接統合する。
異なるシナリオの実験では、HMEは最先端の手法と一致または性能を向上し、ノイズワープよりも2.7倍のスピードアップを達成した。
これらの結果から,チャンネル空間の世帯変換は,モーションコントロール可能な映像生成のためのノイズワープの原理的かつ効率的な代替手段であることが示された。
関連論文リスト
- Fractional-Order Adaptive Motion Magnification: Phase-Reliability Weighting for Noise-Constrained Video Amplification [51.56484100374058]
本稿では、まずオフラインで、次に因果ストリームとして開発されたパイプラインであるフラクショナルオーダー適応運動拡大法を提案する。
一定の時間的利得を分数次 Grnwald--Letnikov 微分に置き換え、高周波強調を連続的に制御する。
リアルビデオでは、各ケースにおける空間選択性の向上と背景雑音の低減が示されている。
論文 参考訳(メタデータ) (2026-09-03T21:43:22Z) - StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。
オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。
動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
論文 参考訳(メタデータ) (2026-08-15T09:31:29Z) - Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation [14.852131707037655]
オブジェクト軌跡とカメラ視点の同時制御を可能にする統合フレームワークUniCaMoを提案する。
UniCaMoは、潜伏するビデオフレームにまたがる3Dグラウンドのモーションコンシステントノイズスペースを共有できる。
標準的な制御可能なビデオ生成ベンチマークにおいて、映像品質とモーション制御性の両方を最新技術で実現している。
論文 参考訳(メタデータ) (2026-07-02T22:17:20Z) - CameraNoise: Enabling Faithful Camera Control in Video Diffusion through Geometry-Flow-Guided Noise Warping [81.58057192696843]
数値カメラパラメータを直接拡散バックボーンに注入する既存の方法は、抽象座標と視覚的内容の間のギャップを埋めることがしばしば失敗する。
本稿では,カメラの動きを時間的コヒーレントな表現に符号化するフロー・ツー・ノイズ・ワープ手法であるCameraNoiseを提案する。
CameraNoiseを拡散プロセスに統合することで、我々のフレームワークは安定した高忠実度ビデオを提供する。
論文 参考訳(メタデータ) (2026-05-29T03:02:50Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳(メタデータ) (2025-06-01T13:28:04Z) - Go-with-the-Flow: Motion-Controllable Video Diffusion Models Using Real-Time Warped Noise [19.422355461775343]
我々は、構造化潜在雑音サンプリングによる動き制御を可能とし、映像拡散モデルを強化した。
本稿では,ランダムな時空間のガウス性と相関した雑音を置き換え,リアルタイムに動作可能な新しいノイズワープアルゴリズムを提案する。
提案アルゴリズムの効率性により,ワープノイズを最小限のオーバーヘッドで使用することで,最新の映像拡散ベースモデルを微調整することができる。
論文 参考訳(メタデータ) (2025-01-14T18:59:10Z) - ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation [101.19290845597918]
本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
論文 参考訳(メタデータ) (2022-03-22T13:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。