論文の概要: OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing

• arxiv url: http://arxiv.org/abs/2610.22744v1
• Date: Thu, 15 Oct 2026 23:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.697735
• Title: OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
• Title（参考訳）: OmniXRef:マルチモーダルなマルチ参照ビデオ編集のための統一フレームワーク
• Abstract要約: マルチモーダルなマルチ参照ビデオ編集のための統合フレームワークであるOmniXRefを紹介する。 ユーザーはテキスト、画像、ビデオ参照の可変数を組み合わせて、ソースビデオの様々な属性を制御することができる。 我々のモデルはタスク固有のベースラインや商用モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 41.893229307856906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creative intent in video editing can be expressed through text instructions (e.g., "remove the people"), image references (e.g., subject appearance), video references (e.g., camera movement), or a combination of the above. We introduce OmniXRef, a unified framework for multimodal multi-reference video editing that allows users to combine variable numbers of text, image, and video references to control diverse attributes of a source video. We first devise a unified input design with a reference-bank interface and introduce $R^2$-RoPE to support generalization to more references. Then our model, OmniXRef-Model, uses a single-stream diffusion transformer to jointly process the source video and multimodal context from an MLLM in an interleaved sequence. To address the scarcity of training data for video-reference editing, we construct OmniXRef-Data using synthesis pipelines for different editing tasks and combinations of references. We use curriculum learning to progressively increase task complexity and resolution. To support systematic evaluation of video as a control modality, we introduce OmniXRef-Bench, a benchmark for video-reference attribute transfer across Camera, Motion, Content, Style, and Visual Effects (VFX). Comprehensive evaluations show that our OmniXRef-Model outperforms task-specific baselines and commercial models.
• Abstract（参考訳）: 映像編集における創造意図は、テキストの指示(例:「人々を削除」)、画像参照(例:被写体外見)、ビデオ参照(例:カメラの動き)、または上記の組み合わせで表現することができる。 我々はOmniXRefを紹介した。OmniXRefはマルチモーダルなマルチ参照ビデオ編集のための統合フレームワークで、ユーザーはテキスト、画像、ビデオ参照の可変数を組み合わせて、ソースビデオの多様な属性を制御することができる。 まず,参照バンクインタフェースで統一された入力設計を考案し,さらに多くの参照への一般化をサポートするために$R^2$-RoPEを導入する。 次に,我々のモデルであるOmniXRef-Modelを用いて,MLLMのソースビデオとマルチモーダルコンテキストをインターリーブシーケンスで共同処理する。 ビデオ参照編集のためのトレーニングデータの不足に対処するため,異なる編集タスクと参照の組み合わせのための合成パイプラインを用いてOmniXRef-Dataを構築した。 カリキュラム学習を使用して、タスクの複雑さと解決度を徐々に増加させます。 制御モダリティとしての映像の体系的評価を支援するために,カメラ,モーション,コンテンツ,スタイル,視覚効果(VFX)間での映像参照属性転送のベンチマークであるOmniXRef-Benchを紹介する。 OmniXRef-Modelはタスク固有のベースラインや商用モデルよりも優れています。

関連論文リスト

• ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships [53.24877477312131]
  ReBindは、組み込み参照トークンによるセマンティックインストラクションを導入する、体系的なフレームワークである。 ReBind-Instructは、視覚属性とその参照ソース間の明示的な結合を確立するための特殊なMLLMである。 また,複数の参照を協調するテキスト・ビデオ・モデルの軽量な適応を可能にするReBind-Editを開発した。
  論文  参考訳（メタデータ） (2026-07-16T07:43:27Z)
• Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing [21.525921468472685]
  本稿では,事前訓練されたマルチモーダル大言語モデル(MLLM)とビデオ拡散モデルとを接続し,ビデオ生成と編集を行うスケーラブルで効率的なモデルを提案する。 我々のキーとなる考え方は、MLLMの理解と推論能力を利用して、明示的なターゲットキャプションを生成し、ユーザー指示を解釈することである。 我々は,微細なビデオ編集のためのFiVEベンチマークとテキスト・ツー・ビデオ生成のためのVBenchベンチマークにおいて,Omni-Video 2の性能を評価する。
  論文  参考訳（メタデータ） (2026-02-09T15:56:05Z)
• OmniV2V: Versatile Video Generation and Editing via Dynamic Content Manipulation [22.970558073760433]
  OmniV2Vは様々な操作に基づいて様々なシナリオで動画を生成・編集できるビデオモデルである。 さらに、LLaVAに基づく視覚テキスト命令モジュールを設計し、視覚コンテンツと命令の対応を効果的に理解できるようにする。 実験によると、OmniV2Vは、多くのビデオ生成および編集タスクのための、最良のオープンソースおよび商用モデルと同様に、時には優れた機能を示す。
  論文  参考訳（メタデータ） (2025-06-02T15:42:06Z)
• MagDiff: Multi-Alignment Diffusion for High-Fidelity Video Generation and Editing [90.06041718086317]
  我々は、高忠実度ビデオ生成と編集の両方のタスクに対して、MagDiffと呼ばれる統合多重配位拡散を提案する。 提案したMagDiffは、主観駆動アライメント、適応プロンプトアライメント、高忠実アライメントを含む3種類のアライメントを導入している。
  論文  参考訳（メタデータ） (2023-11-29T03:36:07Z)
• Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation [54.58405154065508]
  ビデオオブジェクトセグメンテーションの参照のためのマルチモーダル統一時間変換器を提案する。 MUTRは、初めて統合されたフレームワークにより、DETRスタイルのトランスフォーマーを採用し、テキストまたはオーディオ参照によって指定されたビデオオブジェクトをセグメント化することができる。 変換器以降の高レベルの時間的相互作用に対して,異なるオブジェクト埋め込みのためのフレーム間特徴通信を行い,ビデオに沿って追跡するためのオブジェクトワイズ対応の改善に寄与する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:47Z)
• LAVENDER: Unifying Video-Language Understanding as Masked Language Modeling [102.42424022921243]
  Masked Language Modeling (MLM) は、すべての事前学習および下流タスクの共通インターフェースとして使用される。 実験により、この統合フレームワークは14のVidLベンチマークで競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T20:43:25Z)
• HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
  本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
  論文  参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。