Fugu-MT 論文翻訳(概要): UniAVC: Unified Audio-Video Creation via Progressive Training and Asymmetric Scheduling

論文の概要: UniAVC: Unified Audio-Video Creation via Progressive Training and Asymmetric Scheduling

arxiv url: http://arxiv.org/abs/2610.24791v1
Date: Sat, 17 Oct 2026 17:46:17 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 11:57:55.452202
Title: UniAVC: Unified Audio-Video Creation via Progressive Training and Asymmetric Scheduling
Title（参考訳）: UniAVC:プログレッシブトレーニングと非対称スケジューリングによる統一オーディオビデオ作成
Abstract要約: 統一されたオーディオビデオ作成には、テキスト条件のジョイント合成、双方向のクロスモーダル生成、および両方のモダリティをまたいだ命令誘導編集が可能な単一のモデルが必要である。既存の方法はペアコーパスに大きく依存しており、共同生成には乏しく、編集には稀である。提案するUniAVCは、まず、各ブランチを非モーダルデータセット上にトレーニングし、完全な生成および編集能力を与え、その後、相互モーダル対応を利用するためにペア化されたデータに献身する。
参考スコア（独自算出の注目度）: 53.81454482735189
License:
Abstract: Unified audio-video creation requires a single model capable of text-conditioned joint synthesis, bidirectional cross-modal generation, and instruction-guided editing across both modalities. Existing methods rely heavily on paired corpora, which are scarce for joint generation and even rarer for editing. Consequently, they are spent learning single-branch generative and editing capabilities that abundant unimodal data could readily teach, rather than on the cross-modal coupling. Furthermore, prevailing systems apply a single shared noise schedule to both modalities, neglecting two critical limitations. First, due to the significant discrepancy in information density, video requires prolonged high noise to organize spatial and motion structure, whereas the sparser audio signal can settle earlier during the synthesis process, the dynamics a uniform schedule might compromise. Second, lockstep denoising leaves asymmetric workflows, such as conditioning on one modality to synthesize or edit another, untrained. We present UniAVC, which addresses both obstacles. It first trains each branch on unimodal dataset to full generative and editing competence, and subsequently dedicates paired data to exploit cross-modal correspondence. Modality-decoupled schedulers meanwhile warp the noise schedule independently from a shared timestep, while subtasks with one clean modality directly supervise asymmetric configurations. These settings respectively enable intent-aware editing, which preserves one modality intact while enlisting it to constrain the other, and post-inference self-refinement, which regenerates only an unsatisfactory branch against an accepted one. UniAVC thus spans multiple creation tasks from a single set of weights without task-specific adapters.
Abstract（参考訳）: 統一されたオーディオビデオ作成には、テキスト条件のジョイント合成、双方向のクロスモーダル生成、および両方のモダリティをまたいだ命令誘導編集が可能な単一のモデルが必要である。既存の方法はペアコーパスに大きく依存しており、共同生成には乏しく、編集には稀である。その結果、単分岐生成および編集能力の学習に費やされ、多量の単調なデータが相互結合ではなく、簡単に教えられるようになった。さらに、一般的なシステムでは、両方のモードに単一の共有ノイズスケジュールを適用し、2つの重要な制限を無視している。第一に、情報密度の差が大きいため、ビデオは空間構造や動き構造を整理するために長いノイズを必要とするが、スペーサーの音声信号は合成過程の早い段階で落ち着くことができるが、均一なスケジュールのダイナミクスは妥協する可能性がある。第二に、ロックステップの復調は、あるモダリティを条件付けして、訓練されていない別のモダリティを合成または編集するといった非対称なワークフローを残します。両障害に対処するUniAVCを提案する。最初は、単一のデータセット上の各ブランチを、完全な生成および編集能力にトレーニングし、その後、クロスモーダル対応を利用するためにペア化されたデータに重点を置いている。一方、モダリティを分離したスケジューラは、共有タイムステップから独立してノイズスケジュールを歪め、一方、1つのクリーンなモダリティを持つサブタスクは非対称な構成を直接監督する。これらの設定により、一方のモダリティを保ちながら一方のモダリティを保ちながら他方の制約を抑える意図認識編集と、一方の受け入れた部分に対して不満足な分岐のみを再生する推論後自己調整がそれぞれ可能となる。これにより、UniAVCはタスク固有のアダプタなしで1組の重みから複数の生成タスクにまたがる。

論文の概要: UniAVC: Unified Audio-Video Creation via Progressive Training and Asymmetric Scheduling

関連論文リスト