論文の概要: ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships

• arxiv url: http://arxiv.org/abs/2607.14681v1
• Date: Thu, 16 Jul 2026 07:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.030327
• Title: ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships
• Title（参考訳）: ReBind: 明示的な参照関係を持つ構造化命令によるマルチ参照ビデオ編集
• Abstract要約: ReBindは、組み込み参照トークンによるセマンティックインストラクションを導入する、体系的なフレームワークである。 ReBind-Instructは、視覚属性とその参照ソース間の明示的な結合を確立するための特殊なMLLMである。 また,複数の参照を協調するテキスト・ビデオ・モデルの軽量な適応を可能にするReBind-Editを開発した。
• 参考スコア（独自算出の注目度）: 53.24877477312131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent diffusion-based video generation models have made significant progress in multi-reference image-conditioned video editing. However, existing methods still struggle to coordinate information from multiple visual sources accurately. We identify a critical deficiency in existing approaches. Existing editing instructions lack explicit reference relationships, and most multimodal large language models (MLLMs) cannot generate them reliably. To address this problem, we propose ReBind, a systematic framework that introduces semantic instructions with embedded reference tokens as the intermediate representation for multi-reference image-conditioned video editing. Our key insight is embedding reference tokens at semantic positions to eliminate ambiguity and establish precise bindings between visual attributes and their sources. We develop ReBind-Instruct, a specialized MLLM that learns to establish explicit bindings between visual attributes and their reference sources through a two-stage progressive scheme for precise reference relationships. We further develop ReBind-Edit, which enables lightweight adaptation of text-to-video models to coordinate multiple references by binding visual attributes to their designated sources. Extensive experiments demonstrate that ReBind substantially outperforms general-purpose MLLMs in instruction quality and achieves state-of-the-art performance among open-source methods on reference image conditioned video editing. Our project webpage: https://rebind-mrv2v.github.io/.
• Abstract（参考訳）: 近年の拡散型ビデオ生成モデルは、マルチ参照画像条件付きビデオ編集において大きな進歩を遂げている。 しかし、既存の手法は複数の視覚源からの情報を正確に調整するのに依然として苦労している。 既存のアプローチで重要な欠陥を識別する。 既存の編集命令には明示的な参照関係がなく、ほとんどのマルチモーダル言語モデル(MLLM)はそれらを確実に生成できない。 この問題に対処するために,マルチ参照画像条件付きビデオ編集の中間表現として,組込み参照トークンを用いた意味指示を導入するシステムフレームワークReBindを提案する。 我々の重要な洞察は、視覚属性とそのソース間の曖昧さを排除し、正確な結合を確立するために、セマンティックな位置に参照トークンを埋め込むことである。 ReBind-Instructは,視覚的属性と参照源との明示的な結合を,高精度な参照関係のための2段階のプログレッシブ・スキームを通じて確立する,特殊なMLLMである。 我々はさらにReBind-Editを開発し、テキスト・ビデオ・モデルの軽量な適応により、視覚属性を指定したソースに結合することで複数の参照をコーディネートすることができる。 大規模な実験により、ReBindは命令品質において汎用MLLMを大幅に上回り、参照画像条件付きビデオ編集におけるオープンソース手法の最先端性能を実現する。 プロジェクトのWebページ: https://rebind-mrv2v.github.io/

関連論文リスト

• Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
  Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。 本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。 専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
  論文  参考訳（メタデータ） (2026-07-05T13:54:33Z)
• MiVE: Multiscale Vision-language features for reference-guided video Editing [31.68670789147968]
  我々は、VLMをマルチスケール特徴抽出器として再利用するフレームワークであるMiVE(Multiscale Vision- language features for reference-guided video Editing)を提案する。 実験により、MiVEは人間の嗜好において最高にランク付けし、学術的手法と商業システムの両方を上回り、最先端のパフォーマンスを達成することが実証された。
  論文  参考訳（メタデータ） (2026-05-14T10:19:19Z)
• UniCustom: Unified Visual Conditioning for Multi-Reference Image Generation [65.53694602893042]
  VLMエンコーディングの前にVTとVAE機能を融合した統合ビジュアルコンディショニングフレームワークを提案する。 2つのマルチ参照生成ベンチマークの実験により、UniCustomは主題の一貫性、命令従順、構成の忠実さを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T13:10:05Z)
• RefAlign: Representation Alignment for Reference-to-Video Generation [53.368296137314225]
  RefAlignは、DiT参照ブランチ機能を視覚基礎モデルのセマンティック空間に整列する表現アライメントフレームワークである。 OpenS2V-Evalベンチマークの実験では、RefAlignがTotalScoreの最先端メソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-03-26T17:59:57Z)
• Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance [55.32799307123252]
  本稿では,既存のビデオ編集ペアを高忠実度トレーニング四重項に変換するスケーラブルなデータ生成パイプラインを提案する。 本稿では,学習可能なクエリと参照セマンティックガイダンスのための潜在視覚特徴を相乗化する統合編集アーキテクチャKiwi-Editを提案する。
  論文  参考訳（メタデータ） (2026-03-02T18:46:28Z)
• FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
  最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。 本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
  論文  参考訳（メタデータ） (2025-06-20T07:46:40Z)
• MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement [47.064467920954776]
  我々は、任意の参照ビデオ生成のための統一的で効果的なフレームワークであるMAGREFを紹介する。 提案手法は,マスキング誘導と主観的ゆがみ機構を取り入れたものである。 包括的なベンチマークの実験は、MAGREFが既存の最先端のアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-29T17:58:15Z)
• InstructSeg: Unifying Instructed Visual Segmentation with Multi-modal Large Language Models [37.43195217391341]
  本稿では,画像レベルと映像レベルのセグメンテーションと推論セグメンテーションの融合を,IVS(Instructed Visual)として定義する。 具体的には、参照フレームから時間的およびオブジェクト情報を抽出し、包括的な映像理解を容易にするために、オブジェクト認識ビデオ知覚器を用いる。 マルチタスクとエンドツーエンドのトレーニングを活用することで、InstructSegは、さまざまな画像およびビデオセグメンテーションタスクにまたがる優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-12-18T16:20:40Z)
• OneRef: Unified One-tower Expression Grounding and Segmentation with Mask Referring Modeling [80.85164509232261]
  モダリティ共有型1-tower変換器上に構築された最小限の参照フレームワークであるOneRefを提案する。 参照関係をモデル化するために,マスク参照モデリング(MRefM)と呼ばれる新しいMVLMパラダイムを導入する。 MRefM内では,参照型動的画像マスキング戦略を提案し,参照領域を認識した。
  論文  参考訳（メタデータ） (2024-10-10T15:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。