論文の概要: Joint and Cross-Modal Video-Audio Generation and Editing: A Unified Formulation and Design Taxonomy
- arxiv url: http://arxiv.org/abs/2609.34381v1
- Date: Mon, 28 Sep 2026 05:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 21:18:55.516083
- Title: Joint and Cross-Modal Video-Audio Generation and Editing: A Unified Formulation and Design Taxonomy
- Title（参考訳）: 共同・クロスモーダルビデオオーディオ生成と編集:統一型定式化と設計分類
- Abstract要約: ビデオとオーディオは共に認識されるが、ほとんどの生成モデルはそれらを分離して扱う。
2つのモダリティを共同でモデル化し、一方を他方から生成するか、あるいはそれらを結合的に編集する方法について検討する。
統一された定式化は、音声-視覚対上の単一分布上で定義された3つの問題として、ジョイント生成、クロスモーダル生成、ジョイント編集をキャストする。
- 参考スコア（独自算出の注目度）: 121.79104743766386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video and audio are perceived together, yet most generative models treat them in isolation. We examine methods that model the two modalities jointly, generate one from the other, or edit them in a coupled manner, organized around a single question: how is the output kept coherent across modalities in time and semantics? A unified formulation casts joint generation, cross-modal generation, and joint editing as three problems defined on a single distribution over audio-visual pairs, and a taxonomy compares methods along five design axes. To our knowledge, this is the first overview to systematically taxonomize joint audio-visual editing, which we map as nine edit categories spanning 28 edit types. We describe methods, datasets, and metrics for each setting and close with the open problems we view as most consequential.
- Abstract（参考訳）: ビデオとオーディオは共に認識されるが、ほとんどの生成モデルはそれらを分離して扱う。
2つのモダリティを共同でモデル化し、もう1つのモダリティを生成したり、それらを1つの質問にまとめて編集したりする手法について検討する。
統一的な定式化は、音声と視覚のペアの単一分布上で定義された3つの問題として、共同生成、クロスモーダル生成、共同編集をキャストし、分類学は5つの設計軸に沿ってメソッドを比較する。
本研究は,28種類の編集を対象とする9種類の編集カテゴリに分類し,共同音声・視覚編集を体系的に分類する最初の方法である。
設定ごとにメソッド、データセット、メトリクスを記述し、最も連続的に見るオープンな問題に近づきます。
関連論文リスト
- AVENUE: Audio-Video EditiNg Understanding and Evaluation [16.21802697462669]
AVENUE, Audio-Video EditiNg Understanding and Evaluationを紹介する。
制御可能なAV編集モデルに向けた進捗を駆動するためのベンチマークおよびモダリティ対応評価フレームワークである。
一つのモダリティを編集する場合、既存のモデルは、パラダイムに関係なく、意図しない変更をしばしば誘発する。
論文 参考訳（メタデータ） (2026-08-31T13:05:01Z) - Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。
ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。
テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
論文 参考訳（メタデータ） (2026-08-06T09:38:30Z) - OmniEdit: A Training-free framework for Lip Synchronization and Audio-Visual Editing [4.709101341936703]
マルチモーダル学習において,リップ同期と音声視覚編集が基本的な課題として浮上している。
OmniEditは、リップ同期とオーディオ視覚編集の両方のために設計されたトレーニング不要のフレームワークである。
論文 参考訳（メタデータ） (2026-03-10T01:51:28Z) - JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation [112.614973927778]
ジョイントオーディオビデオ生成(JAVG)は、テキスト記述から同期的で意味的に整合した音と視覚を生成する。
本稿では,JAVGの統一モデリングと最適化のためのフレームワークであるJavisDiT++を提案する。
本モデルでは,約100万の公開トレーニングエントリで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-22T12:44:28Z) - TAViS: Text-bridged Audio-Visual Segmentation with Foundation Models [123.17643568298116]
本稿では,マルチモーダル基盤モデルの知識をテキスト化するための新しいフレームワークTAViSを提案する。
これらのモデルを効果的に組み合わせることによって、SAM2とImageBind間の知識伝達の困難さと、監督のためにセグメンテーション損失のみを使用することの不十分さの2つの大きな課題が生じる。
提案手法は,シングルソース,マルチソース,セマンティックデータセットにおいて優れた性能を示し,ゼロショット設定で優れる。
論文 参考訳（メタデータ） (2025-06-13T03:19:47Z) - MIGE: Mutually Enhanced Multimodal Instruction-Based Image Generation and Editing [25.118495616895597]
MIGEはマルチモーダル命令を使ってタスク表現を標準化する統合フレームワークである。
まず、対象駆動生成を空白キャンバス上の生成として扱い、命令ベースの編集を既存の画像の修正として扱う。
MIGEは、命令ベースの主観的編集の新しいタスクにSOTAを設定しながら、主観的生成と命令に基づく編集の両面で優れている。
論文 参考訳（メタデータ） (2025-02-28T18:21:08Z) - Unified Editing of Panorama, 3D Scenes, and Videos Through Disentangled Self-Attention Injection [60.47731445033151]
本稿では,基本的な2次元画像テキスト・ツー・イメージ(T2I)拡散モデルのみを利用して,両手法の長所を結合した新しい統合編集フレームワークを提案する。
実験結果から,3次元シーン,ビデオ,パノラマ画像など,様々なモダリティの編集が可能であることが確認された。
論文 参考訳（メタデータ） (2024-05-27T04:44:36Z) - InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。
我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
論文 参考訳（メタデータ） (2023-05-21T03:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。