論文の概要: EditaLive! Unified Character Video Editing for Live Streaming
- arxiv url: http://arxiv.org/abs/2608.27123v1
- Date: Thu, 27 Aug 2026 13:37:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.41871
- Title: EditaLive! Unified Character Video Editing for Live Streaming
- Title（参考訳）: EditaLive! ライブストリーミングのための統一されたキャラクタビデオ編集
- Abstract要約: EditaLiveはリアルタイム・ストリーミング・キャラクタ・ビデオ編集のための新しいフレームワークである。
表情の忠実な保存と低遅延リアルタイムストリーミング推論を備えた最先端の編集性能を提供する。
- 参考スコア（独自算出の注目度）: 59.93029261408041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional video editing primarily focuses on scene-level content, whereas live streaming places greater emphasis on the human subject. However, directly applying existing video-editing methods to human-centric live streaming remains challenging, as they may introduce facial-expression inconsistencies and typically depend on multiple offline inference steps, making them unsuitable for real-time interaction. We propose EditaLive, a novel framework for real-time streaming character video editing. In detail, we start from a pretrained image animation model (Wan-Animate), which naturally decouples appearance from motion, and repurpose it as the base model for instruction-based human-centric video editing by reference frame editing and video reconstruction via the collected CharEdit-50K dataset. Besides, we adapt the model from offline bidirectional to causal streaming generation, and design an aligned self-rollout distillation strategy that compresses the model into a two-step sampler, where fixed RoPE and align forcing reduce training--inference discrepancies, and first-frame preserved sparse attention filters redundant historical information to mitigate appearance drift. Extensive experiments demonstrate that EditaLive delivers state-of-the-art editing performance with faithful preservation of facial expressions and low-latency real-time streaming inference.
- Abstract（参考訳）: 従来のビデオ編集は主にシーンレベルのコンテンツに焦点を当て、ライブストリーミングは人間の主題に重点を置いている。
しかし、既存のビデオ編集手法を直接人間中心のライブストリーミングに適用することは、顔表現の不整合を導入し、通常複数のオフライン推論ステップに依存するため、リアルタイムインタラクションには適さない。
リアルタイム・ストリーミング・キャラクタ・ビデオ編集のための新しいフレームワークであるEditaLiveを提案する。
より詳しくは、予め訓練された画像アニメーションモデル(Wan-Animate)から始め、自然に動きから外見を分離し、収集したCharEdit-50Kデータセットを介して、参照フレーム編集とビデオ再構成による指示に基づく人間中心のビデオ編集のベースモデルとして再利用する。
さらに、オフライン双方向から因果ストリーミング生成にモデルを適応させ、モデルを2段階のサンプルに圧縮するアライメント自己ロールアウト蒸留戦略を設計する。
大規模な実験により、EditaLiveは、表情の忠実な保存と低レイテンシのリアルタイムストリーミング推論を備えた最先端の編集パフォーマンスを提供することが示された。
関連論文リスト
- EditStream: A Unified Autoregressive Framework for Interactive Video Generation and Editing [67.99022753510475]
EditStreamはインタラクティブなビデオ生成と編集のための統合されたフレームワークである。
複数のビデオ作成と操作タスクを単一のDiTベースのモデルに統合する。
Text-to-Video、Image-to-Video、Video-to-Video、Editing propagation、Reference-guided Video Editing、Camera Pose Changeをサポートする。
論文 参考訳（メタデータ） (2026-08-16T07:27:18Z) - LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing [19.90420626930003]
本稿では,強力なコンテンツ保存とリアルタイム応答性を備えた因果的フレーム・バイ・フレーム編集を行う新しいストリーミングビデオ編集フレームワークを提案する。
提案手法は,12.66FPSまでの推論速度を劇的に向上させながら,ストリーミングベースライン間の最先端の視覚的品質を実現する。
論文 参考訳（メタデータ） (2026-06-25T08:24:03Z) - LIVE: Leveraging Image Manipulation Priors for Instruction-based Video Editing [45.1196749483108]
我々は,大規模で高品質な画像編集データをビデオデータセットとともに活用し,編集能力を増強する共同トレーニングフレームワークであるLIVEを提案する。
フレームワイドなトークンノイズ戦略を導入し、特定のフレームの潜伏を推論トークンとして扱い、大規模な事前学習ビデオ生成モデルを活用して、妥当な時間変換を生成する。
画像編集に多いが、既存のビデオデータセットでは不十分な60以上の課題を含む総合的な評価ベンチマークをキュレートする。
論文 参考訳（メタデータ） (2026-04-18T15:09:01Z) - ImVideoEdit: Image-learning Video Editing via 2D Spatial Difference Attention Blocks [46.442660004277734]
我々は,画像ペアから映像編集能力を学習する効率的なフレームワークImVideoEditを提案する。
トレーニング済みの3Dアテンションモジュールを凍結し、画像を単一フレームビデオとして扱うことにより、2次元空間学習プロセスを分離し、元の時間的ダイナミクスの保存を支援する。
計算オーバーヘッドが極めて少ない5つのエポックに対して、たった13Kイメージペアをトレーニングしているにも関わらず、ImVideoEditは、広範なビデオデータセットでトレーニングされたより大きなモデルに匹敵する、編集の忠実さと時間的一貫性を実現している。
論文 参考訳（メタデータ） (2026-04-09T08:22:09Z) - EditYourself: Audio-Driven Generation and Manipulation of Talking Head Videos with Diffusion Transformers [3.3508228801277853]
オーディオ駆動ビデオV編集のためのDiTTベースのフレームワークであるEditYourselfを紹介する。
これにより、シームレスな追加、削除、視覚的に話されるコンテンツの調整など、音声ビデオの書き起こしに基づく修正が可能になる。
これは、プロ向けビデオポストプロダクションの実用的なツールとして、生成ビデオモデルへの一歩である。
論文 参考訳（メタデータ） (2026-01-29T18:49:27Z) - DeCo: Decoupled Human-Centered Diffusion Video Editing with Motion Consistency [66.49423641279374]
DeCoは、人間と背景を別々に編集可能なターゲットとして扱うように設計された、新しいビデオ編集フレームワークである。
そこで本研究では,人体を利用した非結合型動的人体表現法を提案する。
本研究は, 通常の空間と画像空間にスコア蒸留サンプリングの計算を拡張し, 最適化時の人間のテクスチャを向上する。
論文 参考訳（メタデータ） (2024-08-14T11:53:40Z) - Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。
本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
論文 参考訳（メタデータ） (2024-06-07T12:33:59Z) - FateZero: Fusing Attentions for Zero-shot Text-based Video Editing [104.27329655124299]
本研究では,FateZeroを提案する。FateZeroは,実世界のビデオに対して,プロンプトごとのトレーニングや使用専用のマスクを使わずに,ゼロショットのテキストベースの編集手法である。
本手法は、ゼロショットテキスト駆動型ビデオスタイルと、訓練されたテキスト・ツー・イメージモデルからローカル属性を編集する機能を示す最初の方法である。
論文 参考訳（メタデータ） (2023-03-16T17:51:13Z) - Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。
本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。
各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
論文 参考訳（メタデータ） (2023-03-14T14:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。