論文の概要: INVE: Interactive Neural Video Editing
- arxiv url: http://arxiv.org/abs/2307.07663v1
- Date: Sat, 15 Jul 2023 00:02:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 18:48:32.737559
- Title: INVE: Interactive Neural Video Editing
- Title(参考訳): INVE:インタラクティブなニューラルビデオ編集
- Authors: Jiahui Huang, Leonid Sigal, Kwang Moo Yi, Oliver Wang, Joon-Young Lee
- Abstract要約: 対話型ニューラルビデオ編集(Interactive Neural Video Editing、INVE)は、ビデオクリップ全体へのスパースフレーム編集を一貫して伝播するリアルタイムビデオ編集ソリューションである。
我々の手法は、Layered Neural Atlas (LNA)の最近の研究にインスパイアされている。
LNAは,(1)対話的な編集に時間がかかりすぎること,(2)編集のユースケースに対して不十分なサポートを提供していること,の2つの大きな欠点に悩まされている。
- 参考スコア(独自算出の注目度): 79.48055669064229
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Interactive Neural Video Editing (INVE), a real-time video editing
solution, which can assist the video editing process by consistently
propagating sparse frame edits to the entire video clip. Our method is inspired
by the recent work on Layered Neural Atlas (LNA). LNA, however, suffers from
two major drawbacks: (1) the method is too slow for interactive editing, and
(2) it offers insufficient support for some editing use cases, including direct
frame editing and rigid texture tracking. To address these challenges we
leverage and adopt highly efficient network architectures, powered by
hash-grids encoding, to substantially improve processing speed. In addition, we
learn bi-directional functions between image-atlas and introduce vectorized
editing, which collectively enables a much greater variety of edits in both the
atlas and the frames directly. Compared to LNA, our INVE reduces the learning
and inference time by a factor of 5, and supports various video editing
operations that LNA cannot. We showcase the superiority of INVE over LNA in
interactive video editing through a comprehensive quantitative and qualitative
analysis, highlighting its numerous advantages and improved performance. For
video results, please see https://gabriel-huang.github.io/inve/
- Abstract(参考訳): 本稿では,リアルタイムビデオ編集ソリューションであるinteractive neural video editing (inve)を提案する。
我々の手法は、最近のLayered Neural Atlas (LNA)の研究にインスパイアされている。
しかしLNAは,(1)対話的な編集に時間がかかりすぎること,(2)直接フレーム編集やテクスチャトラッキングなど,いくつかの編集ユースケースに対するサポートが不十分であること,の2つの大きな欠点に悩まされている。
これらの課題に対処するために,ハッシュグレード符号化を利用した高効率ネットワークアーキテクチャを活用し,処理速度を大幅に向上させる。
さらに、画像アトラス間の双方向機能を学び、ベクトル化編集を導入し、アトラスとフレームの双方でより多彩な編集を可能にする。
LNAと比較して、我々のINVEは学習時間と推論時間を5倍に削減し、LNAができない様々なビデオ編集操作をサポートしています。
本稿では,インタラクティブビデオ編集におけるinveの優位を定量的・質的分析を通じて示し,その長所と性能の向上を強調する。
ビデオ結果については、https://gabriel-huang.github.io/inve/をご覧ください。
関連論文リスト
- UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance
Editing [29.552092989541006]
ビデオモーションと外観編集の両方をサポートする、チューニング不要のフレームワークであるUniEditを提示する。
映像コンテンツを保存しながら動きの編集を実現するため,補助的な動き参照と再構成のブランチを導入する。
得られた特徴は、時間的および空間的自己注意層を介して、主編集経路に注入される。
論文 参考訳(メタデータ) (2024-02-20T17:52:12Z) - Neural Video Fields Editing [56.558490998753456]
NVEditは、メモリオーバーヘッドを軽減し、一貫性を向上させるために設計された、テキスト駆動のビデオ編集フレームワークである。
我々は、数百フレームの長いビデオのエンコーディングを可能にするために、三面体とスパースグリッドを用いたニューラルビデオフィールドを構築した。
次に、オフザシェルフテキスト・トゥ・イメージ(T2I)モデルを用いて、ビデオフィールドをテキスト駆動編集エフェクトに更新する。
論文 参考訳(メタデータ) (2023-12-12T14:48:48Z) - VIDiff: Translating Videos via Multi-Modal Instructions with Diffusion
Models [96.55004961251889]
Video Instruction Diffusion (VIDiff) は、幅広いビデオタスク用に設計された統合基盤モデルである。
我々のモデルは,ユーザの指示に基づいて,所望の結果を数秒以内に編集し,翻訳することができる。
様々な入力ビデオや書き起こしに対して,質的かつ定量的に,説得力のある生成結果を提供する。
論文 参考訳(メタデータ) (2023-11-30T18:59:52Z) - LOVECon: Text-driven Training-Free Long Video Editing with ControlNet [11.53331331246286]
本稿では,このギャップを埋めることを目的として,学習自由拡散モデルに基づく長大ビデオ編集のための,シンプルで効果的なベースラインを確立する。
ControlNet上にパイプラインを構築し、テキストプロンプトに基づいて様々な画像編集タスクを抽出する。
特に,ユーザの要求に応じて,最大128フレームの動画編集を行う。
論文 参考訳(メタデータ) (2023-10-15T02:39:25Z) - MagicEdit: High-Fidelity and Temporally Coherent Video Editing [70.55750617502696]
MagicEditは、テキスト誘導ビデオ編集タスクの驚くほどシンプルで効果的なソリューションです。
トレーニング中,コンテンツ,構造,動作信号の学習を明示的に切り離すことで,高忠実で時間的に一貫した映像翻訳を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-08-28T17:56:22Z) - VidEdit: Zero-Shot and Spatially Aware Text-Driven Video Editing [19.20749207287002]
本稿では,ゼロショットテキストベースのビデオ編集手法であるVidEditを紹介する。
本研究では,アトラスベースと事前学習したテキストと画像の拡散モデルを組み合わせて,学習不要で効率的な編集方法を提案する。
実験により、VidEditはDAVISデータセット上で最先端のメソッドより優れていることが示された。
論文 参考訳(メタデータ) (2023-06-14T19:15:49Z) - InstructVid2Vid: Controllable Video Editing with Natural Language
Instructions [106.6740407795944]
人間の言語命令で動画を編集するエンドツーエンド拡散方式,すなわち $textbfInstructVid2Vid$ を提案する。
提案手法では,自然言語命令に基づく入力ビデオの編集を,例ごとの微調整や逆変換を行なわずに行うことができる。
実験によると、InstructVid2Vidは高品質で時間的に整合したビデオを生成し、編集、背景の変更、スタイル転送など様々な編集を行うことができる。
論文 参考訳(メタデータ) (2023-05-21T03:28:13Z) - AutoTransition: Learning to Recommend Video Transition Effects [20.384463765702417]
自動ビデオ遷移レコメンデーション(VTR)の実施について紹介する。
VTRには生のビデオ撮影とオーディオが連続して提供され、隣接する2つのショットごとにビデオ遷移を推奨する。
本稿では,2つの部分からなる新しいマルチモーダルマッチングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-27T12:00:42Z) - The Anatomy of Video Editing: A Dataset and Benchmark Suite for
AI-Assisted Video Editing [90.59584961661345]
この研究は、AIによるビデオ編集の研究を促進するために、データセットとベンチマークであるビデオ編集の解剖学を導入している。
本ベンチマークスイートでは,映像の自動撮影やビデオ組み立て支援など,視覚効果以外の映像編集作業に重点を置いている。
これらの前線の研究を可能にするために、196176年の映画シーンから採取した150万枚以上のタグと、撮影技術に関する概念を注釈付けした。
論文 参考訳(メタデータ) (2022-07-20T10:53:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。