論文の概要: Vorch-Omni: Multi-Task Orchestration of Sight and Sound
- arxiv url: http://arxiv.org/abs/2608.05803v1
- Date: Thu, 06 Aug 2026 09:38:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.868027
- Title: Vorch-Omni: Multi-Task Orchestration of Sight and Sound
- Title（参考訳）: Vorch-Omni: 目と音のマルチタスクオーケストレーション
- Abstract要約: Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。
ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。
テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
- 参考スコア（独自算出の注目度）: 51.39284238118125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in generative video modeling have enabled diverse generation, reference-based synthesis, extension, and editing, but existing approaches often rely on fragmented task-specific models. A general model must distinguish heterogeneous target, source, and reference signals to determine what to generate, preserve, or use as guidance, while reducing interference among tasks. Joint audio-visual generation further increases this challenge by introducing diverse conditioning and output configurations across modalities. We present Vorch-Omni, a unified multi-task framework for audio-visual synthesis based on an arbitrary-condition-to-arbitrary-output formulation. It flexibly treats video and audio signals as either conditioning inputs or generation targets. Token-level conditioning masks and task identifiers distinguish targets, source content, and references, while position types separate temporal context from independent conditions. To capture semantic and structural information, Vorch-Omni employs complementary visual conditioning pathways: a vision-language model interprets sampled frames with text instructions, and a video VAE encodes conditions into latent tokens for direct guidance. We further build a distributed data pipeline to curate diverse temporally aligned audio-visual clips, generate structured captions and metadata, and balance heterogeneous task distributions. Built on a single flow-matching diffusion transformer without task-specific architectural changes, Vorch-Omni supports over 10 tasks, including text-to-video, text-to-audio-video, image- and reference-conditioned generation, temporal extension, audio-driven generation, video transformation, and audio-visual editing. This unified framework provides a scalable foundation for general-purpose audio-visual generation and manipulation.
- Abstract（参考訳）: 生成ビデオモデリングの最近の進歩により、多様な生成、参照ベースの合成、拡張、編集が可能になったが、既存のアプローチはしばしば断片化されたタスク固有モデルに依存している。
一般的なモデルは、タスク間の干渉を減らしながら、何を生成するか、保存するか、あるいはガイダンスとして使うかを決定するために、異種ターゲット、ソース、参照信号を区別する必要がある。
共同音声視覚生成は、様々な条件設定と出力構成を導入することで、この課題をさらに増大させる。
Vorch-Omniは任意条件から任意出力の定式化に基づく音声・視覚合成のための統合マルチタスクフレームワークである。
ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。
トークンレベルのコンディショニングマスクとタスク識別子はターゲット、ソースコンテンツ、参照を区別し、位置タイプは独立した状況から時間コンテキストを分離する。
視覚言語モデルはサンプルフレームをテキスト命令で解釈し、ビデオVAEは条件を遅延トークンにエンコードして直接誘導する。
さらに分散データパイプラインを構築し、多様な時間的に整列したオーディオ映像クリップをキュレートし、構造化されたキャプションとメタデータを生成し、異種タスク分布のバランスをとる。
Vorch-Omniは、タスク固有のアーキテクチャ変更なしに単一のフローマッチング拡散トランスフォーマー上に構築されており、テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、画像および参照条件付き生成、時間拡張、オーディオ駆動生成、ビデオ変換、オーディオ視覚編集を含む10以上のタスクをサポートしている。
この統合されたフレームワークは、汎用的なオーディオ視覚生成と操作のためのスケーラブルな基盤を提供する。
関連論文リスト
- Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation [28.493796603648175]
Vorch-IRは、シングルモデルとデュアルパーソンのアイデンティティ置換をサポートする統一フレームワークで、オプションのバックグラウンド置換を単一のモデルでサポートする。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
論文 参考訳（メタデータ） (2026-08-06T06:46:35Z) - Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。
本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。
専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
論文 参考訳（メタデータ） (2026-07-05T13:54:33Z) - MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。
我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。
MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
論文 参考訳（メタデータ） (2026-06-28T16:01:04Z) - Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing [93.8111348452324]
Tele-Omniはビデオ生成と編集のための統合されたフレームワークで、マルチモーダルな指示に従う。
テキスト・ツー・ビデオ生成、画像・ビデオ生成、ファースト・ラスト・フレーム・ビデオ生成、イン・コンテクスト・ビデオ生成、およびイン・コンテクスト・ビデオ編集をサポートする。
論文 参考訳（メタデータ） (2026-02-10T10:01:16Z) - DegDiT: Controllable Audio Generation with Dynamic Event Graph Guided Diffusion Transformer [43.48616092324736]
制御可能な音声生成のための動的イベントグラフ誘導拡散トランスフォーマフレームワークであるDegDiTを提案する。
DegDiTは、記述中のイベントを構造化された動的グラフとしてエンコードする。
AudioCondition、DESED、AudioTimeデータセットの実験は、DegDiTが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-08-19T12:41:15Z) - Revisiting Audio-Visual Segmentation with Vision-Centric Transformer [60.83798235788669]
AVS (Audio-Visual) は、オーディオ信号に基づいて、映像フレームに音声を生成するオブジェクトを分割することを目的としている。
本稿では,視覚由来の問合せを利用して,対応する音声や視覚情報を反復的に取得する視覚中心変換フレームワークを提案する。
我々のフレームワークは,AVSBenchデータセットの3つのサブセット上で,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-06-30T08:40:36Z) - SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers [25.36460340267922]
SkyReels-Audioは高忠実で時間的コヒーレントなポートレート映像を合成するための統一的なフレームワークである。
我々のフレームワークは、無限長の生成と編集をサポートし、マルチモーダル入力による多様かつ制御可能な条件付けを可能にする。
論文 参考訳（メタデータ） (2025-06-01T04:27:13Z) - Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion
Latent Aligners [69.70590867769408]
ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。
既存の拡散に基づく手法は、ビデオと音声を別々に生成する。
本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
論文 参考訳（メタデータ） (2024-02-27T17:57:04Z) - Dynamic Graph Representation Learning for Video Dialog via Multi-Modal
Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。
また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。
その結果,全ての評価指標について最先端の性能を示すことができた。
論文 参考訳（メタデータ） (2020-07-08T02:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。