論文の概要: Señorita-2M: A High-Quality Instruction-based Dataset for General Video Editing by Video Specialists

• arxiv url: http://arxiv.org/abs/2502.06734v1
• Date: Mon, 10 Feb 2025 17:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:28.518815
• Title: Señorita-2M: A High-Quality Instruction-based Dataset for General Video Editing by Video Specialists
• Title（参考訳）: Señorita-2M:ビデオスペシャリストによる一般的なビデオ編集のための高品質なインストラクションベースデータセット
• Authors: Bojia Zi, Penghui Ruan, Marco Chen, Xianbiao Qi, Shaozhe Hao, Shihao Zhao, Youze Huang, Bin Liang, Rong Xiao, Kam-Fai Wong,
• Abstract要約: 高品質なビデオ編集データセットであるSenorita-2Mを紹介する。 高品質で特殊な4つのビデオ編集モデルを構築することで構築される。 編集が不十分なビデオペアを除去するためのフィルタリングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 17.451911831989293
• License:
• Abstract: Recent advancements in video generation have spurred the development of video editing techniques, which can be divided into inversion-based and end-to-end methods. However, current video editing methods still suffer from several challenges. Inversion-based methods, though training-free and flexible, are time-consuming during inference, struggle with fine-grained editing instructions, and produce artifacts and jitter. On the other hand, end-to-end methods, which rely on edited video pairs for training, offer faster inference speeds but often produce poor editing results due to a lack of high-quality training video pairs. In this paper, to close the gap in end-to-end methods, we introduce Se\~norita-2M, a high-quality video editing dataset. Se\~norita-2M consists of approximately 2 millions of video editing pairs. It is built by crafting four high-quality, specialized video editing models, each crafted and trained by our team to achieve state-of-the-art editing results. We also propose a filtering pipeline to eliminate poorly edited video pairs. Furthermore, we explore common video editing architectures to identify the most effective structure based on current pre-trained generative model. Extensive experiments show that our dataset can help to yield remarkably high-quality video editing results. More details are available at https://senorita.github.io.
• Abstract（参考訳）: 近年の映像生成技術の発展により,映像編集技術が発展し,インバージョンとエンド・ツー・エンドに分割できるようになった。 しかし、現在のビデオ編集方法にはいくつかの課題がある。 インバージョンベースの手法は、トレーニング不要で柔軟性がありながら、推論中に時間がかかり、きめ細かい編集命令に苦労し、アーティファクトやジッタを生成する。 一方、ビデオペアを編集してトレーニングするエンド・ツー・エンドの手法は、高速な推論速度を提供するが、高品質なビデオペアが欠如しているため、しばしば編集結果が悪い。 本稿では,エンドツーエンド手法のギャップを埋めるために,高品質なビデオ編集データセットSe\~norita-2Mを紹介する。 Se\~ノリタ-2Mは約200万のビデオ編集ペアで構成されている。 高品質で専門的な4つのビデオ編集モデルを製作し、各チームは最先端の編集結果を得るために、それぞれを製作し、訓練しています。 また、編集が不十分なビデオペアを除去するためのフィルタリングパイプラインを提案する。 さらに,既存の事前学習型生成モデルに基づいて,映像編集アーキテクチャを探索し,最も効果的な構造を同定する。 大規模な実験により、我々のデータセットは、非常に高品質なビデオ編集結果を得るのに役立ちます。 詳細はhttps://senorita.github.io.comで確認できる。

関連論文リスト

• I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
  本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。 I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
  論文  参考訳（メタデータ） (2024-05-26T11:47:40Z)
• EffiVED:Efficient Video Editing via Text-instruction Diffusion Models [9.287394166165424]
  EffiVEDは、命令誘導ビデオ編集をサポートする効率的な拡散ベースモデルである。 我々は、膨大な画像編集データセットとオープンワールドビデオを、EffiVEDをトレーニングするための高品質なデータセットに変換する。
  論文  参考訳（メタデータ） (2024-03-18T08:42:08Z)
• Neural Video Fields Editing [56.558490998753456]
  NVEditは、メモリオーバーヘッドを軽減し、一貫性を向上させるために設計された、テキスト駆動のビデオ編集フレームワークである。 我々は、数百フレームの長いビデオのエンコーディングを可能にするために、三面体とスパースグリッドを用いたニューラルビデオフィールドを構築した。 次に、オフザシェルフテキスト・トゥ・イメージ(T2I)モデルを用いて、ビデオフィールドをテキスト駆動編集エフェクトに更新する。
  論文  参考訳（メタデータ） (2023-12-12T14:48:48Z)
• VIDiff: Translating Videos via Multi-Modal Instructions with Diffusion Models [96.55004961251889]
  Video Instruction Diffusion (VIDiff) は、幅広いビデオタスク用に設計された統合基盤モデルである。 我々のモデルは,ユーザの指示に基づいて,所望の結果を数秒以内に編集し,翻訳することができる。 様々な入力ビデオや書き起こしに対して,質的かつ定量的に,説得力のある生成結果を提供する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:52Z)
• Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models [65.268245109828]
  Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。 トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。 実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-02T11:28:37Z)
• MagicEdit: High-Fidelity and Temporally Coherent Video Editing [70.55750617502696]
  MagicEditは、テキスト誘導ビデオ編集タスクの驚くほどシンプルで効果的なソリューションです。 トレーニング中,コンテンツ,構造,動作信号の学習を明示的に切り離すことで,高忠実で時間的に一貫した映像翻訳を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-28T17:56:22Z)
• The Anatomy of Video Editing: A Dataset and Benchmark Suite for AI-Assisted Video Editing [90.59584961661345]
  この研究は、AIによるビデオ編集の研究を促進するために、データセットとベンチマークであるビデオ編集の解剖学を導入している。 本ベンチマークスイートでは,映像の自動撮影やビデオ組み立て支援など,視覚効果以外の映像編集作業に重点を置いている。 これらの前線の研究を可能にするために、196176年の映画シーンから採取した150万枚以上のタグと、撮影技術に関する概念を注釈付けした。
  論文  参考訳（メタデータ） (2022-07-20T10:53:48Z)
• Learning to Cut by Watching Movies [114.57935905189416]
  本稿は,コンピュータ映像編集の新しい課題,すなわちカットの可否をかき集めることに焦点を当てる。 私たちのキーとなるアイデアは、すでに編集済みのコンテンツを活用して、カットをトリガーするきめ細かいオーディオ視覚パターンを学ぶことです。 コントラスト学習により,リアルカットと人工カットの区別を学習するモデルを考案する。
  論文  参考訳（メタデータ） (2021-08-09T18:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。