論文の概要: MIVE: New Design and Benchmark for Multi-Instance Video Editing

• arxiv url: http://arxiv.org/abs/2412.12877v1
• Date: Tue, 17 Dec 2024 13:00:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:30.625337
• Title: MIVE: New Design and Benchmark for Multi-Instance Video Editing
• Title（参考訳）: MIVE: マルチインスタンスビデオ編集のための新しい設計とベンチマーク
• Authors: Samuel Teodoro, Agus Gunawan, Soo Ye Kim, Jihyong Oh, Munchurl Kim,
• Abstract要約: MIVEは汎用マスクベースのフレームワークで、特定のオブジェクト(人など)に特化していない。 編集リークを防ぐためのDMS(Disentangled Multi-Instance Sampling)と、正確なローカライゼーションと忠実な編集を保証するためのインスタンス中心のProbability Redistribution(IPR)である。 MIVEの質的・定量的・ユーザスタディ評価は,信頼性・正確性・漏洩防止の点において,最近の最先端手法を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 27.706882926164724
• License:
• Abstract: Recent AI-based video editing has enabled users to edit videos through simple text prompts, significantly simplifying the editing process. However, recent zero-shot video editing techniques primarily focus on global or single-object edits, which can lead to unintended changes in other parts of the video. When multiple objects require localized edits, existing methods face challenges, such as unfaithful editing, editing leakage, and lack of suitable evaluation datasets and metrics. To overcome these limitations, we propose a zero-shot $\textbf{M}$ulti-$\textbf{I}$nstance $\textbf{V}$ideo $\textbf{E}$diting framework, called MIVE. MIVE is a general-purpose mask-based framework, not dedicated to specific objects (e.g., people). MIVE introduces two key modules: (i) Disentangled Multi-instance Sampling (DMS) to prevent editing leakage and (ii) Instance-centric Probability Redistribution (IPR) to ensure precise localization and faithful editing. Additionally, we present our new MIVE Dataset featuring diverse video scenarios and introduce the Cross-Instance Accuracy (CIA) Score to evaluate editing leakage in multi-instance video editing tasks. Our extensive qualitative, quantitative, and user study evaluations demonstrate that MIVE significantly outperforms recent state-of-the-art methods in terms of editing faithfulness, accuracy, and leakage prevention, setting a new benchmark for multi-instance video editing. The project page is available at https://kaist-viclab.github.io/mive-site/
• Abstract（参考訳）: 最近のAIベースのビデオ編集により、ユーザーは簡単なテキストプロンプトでビデオを編集できるようになった。 しかし、最近のゼロショットビデオ編集技術は、主にグローバルまたはシングルオブジェクトの編集に焦点を当てており、ビデオの他の部分の意図しない変更につながる可能性がある。 複数のオブジェクトがローカライズされた編集を必要とする場合、既存のメソッドは、不誠実な編集、リークの編集、適切な評価データセットやメトリクスの欠如といった課題に直面します。 これらの制限を克服するために、MIVE と呼ばれるゼロショット $\textbf{M}$ulti-$\textbf{I}$nstance $\textbf{V}$ideo $\textbf{E}$diting フレームワークを提案する。 MIVEは汎用マスクベースのフレームワークで、特定のオブジェクト(例えば人)に特化していない。 MIVEは2つの重要なモジュールを導入している。 一 編集漏れの防止のための分散マルチインスタンスサンプリング(DMS:Disentangled Multi-Instance Smpling) (II) 正確なローカライゼーションと忠実な編集を確保するために、インスタンス中心の確率再配布(IPR)を行う。 さらに、多様なビデオシナリオを特徴とする新しいMIVEデータセットを提案し、マルチインスタンスビデオ編集タスクにおける編集リークを評価するために、Cross-Instance Accuracy (CIA) Scoreを導入する。 広範に質的・定量的・ユーザスタディ評価を行った結果,MIVEは忠実度,正確性,漏洩防止の点で最近の最先端手法を著しく上回り,マルチインスタンスビデオ編集のための新たなベンチマークを設定した。 プロジェクトのページはhttps://kaist-viclab.github.io/mive-site/で公開されている。

関連論文リスト

• A Reinforcement Learning-Based Automatic Video Editing Method Using Pre-trained Vision-Language Model [10.736207095604414]
  まず、シーン固有の特徴を抽出する以前の作品とは異なり、事前学習された視覚言語モデル(VLM)を活用する。 また,RLをベースとした編集フレームワークを提案し,編集問題を定式化し,仮想エディタを訓練し,より優れた編集判断を行う。
  論文  参考訳（メタデータ） (2024-11-07T18:20:28Z)
• Beyond Raw Videos: Understanding Edited Videos with Large Multimodal Model [62.38322742493649]
  我々は、編集カテゴリ、すなわちエフェクト、面白い、ミーム、ゲームをカバーするビデオVQAベンチマークを構築した。 オープンソースビデオのLMMのほとんどはベンチマークでは不十分であり、ソーシャルメディア上の編集されたショートビデオと通常の生ビデオの間に大きなドメインギャップがあることを示唆している。 LMMの一般化能力を向上させるため,Panda-70M/WebVid生ビデオとTikTok/CapCut編集ビデオの両方に基づいて,提案したベンチマークのトレーニングセットを収集した。
  論文  参考訳（メタデータ） (2024-06-15T03:28:52Z)
• GenVideo: One-shot Target-image and Shape Aware Video Editing using T2I Diffusion Models [2.362412515574206]
  ターゲット画像認識型T2Iモデルを利用した動画編集のためのGenVideoを提案する。 提案手法は,編集の時間的一貫性を維持しつつ,形状や大きさの異なる対象オブジェクトで編集を処理する。
  論文  参考訳（メタデータ） (2024-04-18T23:25:27Z)
• VLKEB: A Large Vision-Language Model Knowledge Editing Benchmark [53.091690659399234]
  大規模言語モデル(LLM)の知識編集は注目されている。 3つのメトリクス(信頼性、局所性、一般性)からなる既存のLVLM編集ベンチマークは、合成された評価画像の品質が不足している。 我々は、新しいLarge $textbfV$ision-$textbfL$anguage Modelを構築するために、より信頼性の高いデータ収集手法を使用します。
  論文  参考訳（メタデータ） (2024-03-12T06:16:33Z)
• Action Reimagined: Text-to-Pose Video Editing for Dynamic Human Actions [49.14827857853878]
  ReimaginedActはビデオ理解、推論、編集モジュールを含む。 提案手法は, 直接指示文のプロンプトだけでなく, 行動変化を予測するための質問も受けられる。
  論文  参考訳（メタデータ） (2024-03-11T22:46:46Z)
• LoMOE: Localized Multi-Object Editing via Multi-Diffusion [8.90467024388923]
  本稿では,ゼロショットローカライズされたマルチオブジェクト編集のための新しいフレームワークを提案する。 提案手法は, 前景マスクとそれに対応する簡単なテキストプロンプトを利用して, 対象領域に局所的な影響を与える。 ラテント空間内のクロスアテンションとバックグラウンドロスの組み合わせにより、編集対象の特性が保存される。
  論文  参考訳（メタデータ） (2024-03-01T10:46:47Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)
• EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
  EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。 EditGANは前例のない細部と自由度で画像を操作可能であることを示す。 また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
  論文  参考訳（メタデータ） (2021-11-04T22:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。