論文の概要: LoRA-Edit: Controllable First-Frame-Guided Video Editing via Mask-Aware LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2506.10082v1
• Date: Wed, 11 Jun 2025 18:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.374871
• Title: LoRA-Edit: Controllable First-Frame-Guided Video Editing via Mask-Aware LoRA Fine-Tuning
• Title（参考訳）: LoRA-Edit: Mask-Aware LoRAファインチューニングによるコントロール可能なファーストフレーム動画編集
• Authors: Chenjian Gao, Lihe Ding, Xin Cai, Zhanpeng Huang, Zibin Wang, Tianfan Xue,
• Abstract要約: 拡散モデルを用いたビデオ編集は、ビデオの高品質な編集を作成できる顕著な成果を上げている。 ファーストフレーム誘導編集は、最初のフレームを制御できるが、その後のフレームよりも柔軟性に欠ける。 フレキシブルなビデオ編集のための事前訓練された画像対ビデオ(I2V)モデルに適応するマスクベースのLoRAチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 8.077442711429317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video editing using diffusion models has achieved remarkable results in generating high-quality edits for videos. However, current methods often rely on large-scale pretraining, limiting flexibility for specific edits. First-frame-guided editing provides control over the first frame, but lacks flexibility over subsequent frames. To address this, we propose a mask-based LoRA (Low-Rank Adaptation) tuning method that adapts pretrained Image-to-Video (I2V) models for flexible video editing. Our approach preserves background regions while enabling controllable edits propagation. This solution offers efficient and adaptable video editing without altering the model architecture. To better steer this process, we incorporate additional references, such as alternate viewpoints or representative scene states, which serve as visual anchors for how content should unfold. We address the control challenge using a mask-driven LoRA tuning strategy that adapts a pre-trained image-to-video model to the editing context. The model must learn from two distinct sources: the input video provides spatial structure and motion cues, while reference images offer appearance guidance. A spatial mask enables region-specific learning by dynamically modulating what the model attends to, ensuring that each area draws from the appropriate source. Experimental results show our method achieves superior video editing performance compared to state-of-the-art methods.
• Abstract（参考訳）: 拡散モデルを用いたビデオ編集は、ビデオの高品質な編集を作成できる顕著な成果を上げている。 しかし、現在の手法は大規模な事前学習に依存しており、特定の編集の柔軟性を制限している。 ファーストフレーム誘導編集は、最初のフレームを制御できるが、その後のフレームよりも柔軟性に欠ける。 そこで本稿では, フレキシブルなビデオ編集のために, 予め訓練された画像対ビデオ(I2V)モデルに適応するマスクベースのLoRAチューニング手法を提案する。 制御可能な編集が可能でありながら,背景領域を保存できる。 このソリューションは、モデルアーキテクチャを変更することなく、効率的で適応可能なビデオ編集を提供する。 このプロセスを改善するために、コンテントの展開方法の視覚的アンカーとして、代替視点や代表シーン状態などの追加参照を組み込む。 マスク駆動のLoRAチューニング戦略を用いて,編集コンテキストに事前学習した画像-映像モデルを適応させる制御課題に対処する。 入力ビデオは空間構造とモーションキューを提供し、参照画像は外観ガイダンスを提供する。 空間マスクは、モデルが何に参加するかを動的に調整し、各領域が適切なソースから引き出されることを保証することで、地域固有の学習を可能にする。 実験により,本手法は最先端の手法に比べて優れた映像編集性能が得られることが示された。

関連論文リスト

• Edit as You See: Image-guided Video Editing via Masked Motion Modeling [18.89936405508778]
  画像誘導映像編集拡散モデル(IVEDiff)を提案する。 IVEDiffは画像編集モデル上に構築されており、ビデオ編集の時間的一貫性を維持するための学習可能なモーションモジュールを備えている。 本手法は,高画質な編集対象を忠実に処理しながら,時間的にスムーズな編集映像を生成することができる。
  論文  参考訳（メタデータ） (2025-01-08T07:52:12Z)
• MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。 我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
  論文  参考訳（メタデータ） (2024-12-28T02:36:51Z)
• Temporally Consistent Object Editing in Videos using Extended Attention [9.605596668263173]
  本稿では,事前学習した画像拡散モデルを用いて映像を編集する手法を提案する。 編集された情報がすべてのビデオフレームで一貫していることを保証する。
  論文  参考訳（メタデータ） (2024-06-01T02:31:16Z)
• I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
  本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。 I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
  論文  参考訳（メタデータ） (2024-05-26T11:47:40Z)
• MagicStick: Controllable Video Editing via Control Handle Transformations [49.29608051543133]
  MagicStickは、抽出した内部制御信号の変換を利用してビデオプロパティを編集する、制御可能なビデオ編集方法である。 統合フレームワークにおける多数の実例について実験を行った。 また、形状対応テキストベースの編集や手作り動画生成と比較し、従来の作品よりも優れた時間的一貫性と編集能力を示した。
  論文  参考訳（メタデータ） (2023-12-05T17:58:06Z)
• MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation [74.32046206403177]
  MagicPropは、ビデオ編集プロセスを、外観編集とモーション対応の外観伝搬という2つのステージに分割する。 第一段階では、MagicPropは入力ビデオから単一のフレームを選択し、フレームの内容やスタイルを変更するために画像編集技術を適用する。 第2段階では、MagicPropは編集されたフレームを外観参照として使用し、自動回帰レンダリングアプローチを使用して残りのフレームを生成する。
  論文  参考訳（メタデータ） (2023-09-02T11:13:29Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)
• Video-P2P: Video Editing with Cross-attention Control [68.64804243427756]
  Video-P2Pは、クロスアテンション制御による現実世界のビデオ編集のための新しいフレームワークである。 Video-P2Pは、オリジナルのポーズやシーンを最適に保存しながら、新しいキャラクターを生成する現実世界のビデオでうまく機能する。
  論文  参考訳（メタデータ） (2023-03-08T17:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。