論文の概要: JointTuner: Appearance-Motion Adaptive Joint Training for Customized Video Generation

• arxiv url: http://arxiv.org/abs/2503.23951v1
• Date: Mon, 31 Mar 2025 11:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:35:08.932907
• Title: JointTuner: Appearance-Motion Adaptive Joint Training for Customized Video Generation
• Title（参考訳）: JointTuner: カスタマイズビデオ生成のための外観運動適応型ジョイントトレーニング
• Authors: Fangda Chen, Shanshan Zhao, Chuanfu Xu, Long Lan,
• Abstract要約: JointTunerは、新しい適応型ジョイントトレーニングフレームワークである。 我々は文脈認識型ゲーティング機構を組み込んだAdaptive LoRAを開発した。 内在性外見から運動パターンを分離するために出現非依存の時間損失を導入する。
• 参考スコア（独自算出の注目度）: 13.168628936598367
• License:
• Abstract: Recent text-to-video advancements have enabled coherent video synthesis from prompts and expanded to fine-grained control over appearance and motion. However, existing methods either suffer from concept interference due to feature domain mismatch caused by naive decoupled optimizations or exhibit appearance contamination induced by spatial feature leakage resulting from the entanglement of motion and appearance in reference video reconstructions. In this paper, we propose JointTuner, a novel adaptive joint training framework, to alleviate these issues. Specifically, we develop Adaptive LoRA, which incorporates a context-aware gating mechanism, and integrate the gated LoRA components into the spatial and temporal Transformers within the diffusion model. These components enable simultaneous optimization of appearance and motion, eliminating concept interference. In addition, we introduce the Appearance-independent Temporal Loss, which decouples motion patterns from intrinsic appearance in reference video reconstructions through an appearance-agnostic noise prediction task. The key innovation lies in adding frame-wise offset noise to the ground-truth Gaussian noise, perturbing its distribution, thereby disrupting spatial attributes associated with frames while preserving temporal coherence. Furthermore, we construct a benchmark comprising 90 appearance-motion customized combinations and 10 multi-type automatic metrics across four dimensions, facilitating a more comprehensive evaluation for this customization task. Extensive experiments demonstrate the superior performance of our method compared to current advanced approaches.
• Abstract（参考訳）: 近年のテキストとビデオの進歩により、プロンプトからのコヒーレントなビデオ合成が可能となり、外観や動きのきめ細かい制御が可能になった。 しかし,従来の手法では,非結合最適化による特徴領域ミスマッチによる概念干渉や,参照映像再構成における動きの絡み合いによる空間的特徴漏えいによる外観汚染に悩まされている。 本稿では,これらの問題を緩和するための新しい適応型ジョイントトレーニングフレームワークであるJointTunerを提案する。 具体的には、文脈認識ゲーティング機構を組み込んだAdaptive LoRAを開発し、この拡散モデル内の空間的および時間的変換器にゲートされたLoRA成分を統合する。 これらのコンポーネントは外観と動きの同時最適化を可能にし、概念的干渉を排除している。 さらに、出現非依存の時間損失を導入し、外見非依存のノイズ予測タスクを通じて、参照ビデオ再構成における内在的な出現から動きパターンを分離する。 鍵となる革新は、地味なガウス雑音にフレームワイドのオフセットノイズを加え、その分布を乱し、時間的コヒーレンスを維持しながらフレームに関連する空間的特性を乱すことである。 さらに,90個の外見と動きをカスタマイズした組み合わせと,4次元にわたる10個の多次元自動測定値からなるベンチマークを構築し,このカスタマイズタスクのより包括的な評価を容易にする。 現在の先進的な手法と比較して,本手法の優れた性能を示す実験が盛んである。

関連論文リスト

• RepVideo: Rethinking Cross-Layer Representation for Video Generation [53.701548524818534]
  テキスト・ビデオ拡散モデルのための拡張表現フレームワークであるRepVideoを提案する。 近隣層からの機能を蓄積してリッチな表現を形成することで、このアプローチはより安定したセマンティック情報をキャプチャする。 我々の実験は、RepVideoが正確な空間的外観を生成する能力を著しく向上するだけでなく、ビデオ生成における時間的一貫性も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-15T18:20:37Z)
• Training-Free Motion-Guided Video Generation with Enhanced Temporal Consistency Using Motion Consistency Loss [35.69606926024434]
  本稿では,初期雑音に基づくアプローチと新たな動きの整合性損失を組み合わせた,シンプルで効果的な解を提案する。 次に、生成したビデオに類似した特徴相関パターンを維持するために、動きの整合性損失を設計する。 このアプローチは、トレーニング不要のセットアップの利点を保ちながら、さまざまなモーションコントロールタスク間の時間的一貫性を改善する。
  論文  参考訳（メタデータ） (2025-01-13T18:53:08Z)
• Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement [48.76608212565327]
  本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。 低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。 本稿では,信号の空間的・時間的関連要因に分解するために,最適化関数を深層ネットワークにアンロールすることで低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
  論文  参考訳（メタデータ） (2024-08-22T11:45:11Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• Training-Free Semantic Video Composition via Pre-trained Diffusion Model [96.0168609879295]
  現在のアプローチは、主に前景の色と照明を調整したビデオで訓練されており、表面的な調整以上の深い意味の相違に対処するのに苦労している。 本研究では,事前知識を付加した事前学習拡散モデルを用いた学習自由パイプラインを提案する。 実験の結果,我々のパイプラインは出力の視覚的調和とフレーム間のコヒーレンスを確実にすることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T13:07:22Z)
• APLA: Additional Perturbation for Latent Noise with Adversarial Training Enables Consistency [9.07931905323022]
  拡散モデルに基づく新しいテキスト・ツー・ビデオ(T2V)生成ネットワーク構造を提案する。 提案手法では,1本の動画を入力として必要とせず,事前学習した安定拡散ネットワーク上に構築する。 我々は、変換器と畳み込みのハイブリッドアーキテクチャを活用して、時間的複雑さを補償し、ビデオ内の異なるフレーム間の一貫性を向上させる。
  論文  参考訳（メタデータ） (2023-08-24T07:11:00Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。