論文の概要: OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation
- arxiv url: http://arxiv.org/abs/2611.02803v1
- Date: Mon, 02 Nov 2026 09:11:39 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:26:42.764213
- Title: OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation
- Title（参考訳）: OmniOPD: ジョイントオーディオビデオ生成のための安定型オンポリティクス蒸留
- Abstract要約: バランスよく安定したオーディオビデオ生成のためのモダリティワイドなオンライン蒸留フレームワークであるOmniOPDを提案する。
我々は,OmniOPDが音声品質を保ちながら,映像生成を著しく向上させ,効果的なジョイント蒸留を実現していることを示す。
- 参考スコア（独自算出の注目度）: 77.09140202364757
- License:
- Abstract: Reinforcement learning (RL) elevates joint audio-video generation, but optimizing heterogeneous, modality-specific audio and video rewards often introduces cross-modal interference. On-policy distillation (OPD) alleviates this issue by transferring the capabilities of specialized audio and video RL teachers into a single student model. However, a significant imbalance in cross-modal token counts leaves audio with sparse supervision, causing unstable distillation. We observe that naively increasing the audio loss weight fails to solve this problem since audio learning relies heavily on visual context, indicating richer visual cues are crucial to offset sparse audio signals. To address this, we propose OmniOPD, a modality-wise on-policy distillation framework designed for balanced and stable audio-video generation. First, we construct privileged visual information using asymmetric noise scheduling, allowing the audio teacher to generate more informative targets from cleaner video context. Second, we introduce grouped multi-noise sampling to expand audio supervision coverage and stabilize training. Third, we introduce timestep-wise importance weighting based on teacher-student transition divergence, preserving reliable supervision while down-weighting unreliable learning signals, to stabilize fluctuations in audio learning. Evaluated on JavisBench and VBench demonstrate OmniOPD preserves audio quality while significantly enhancing video generation, achieving effective joint distillation.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、共同音声・ビデオ生成を増大させるが、不均一でモダリティ固有のオーディオとビデオの報酬を最適化することは、しばしばクロスモーダル干渉をもたらす。
オンライン蒸留(OPD)は、特殊なオーディオとビデオのRL教師の能力を単一の学生モデルに移行することでこの問題を軽減する。
しかし、クロスモーダルトークンのかなりの不均衡は、音声を疎い監視に残し、不安定な蒸留を引き起こす。
音声学習は視覚的文脈に大きく依存しているため,音声の損失重みの増大はこの問題の解決に失敗し,より豊かな視覚的手がかりが疎外音声信号のオフセットに不可欠であることを示す。
そこで本研究では,バランスよく安定したオーディオビデオ生成を目的としたモダリティワイドなオンライン蒸留フレームワークであるOmniOPDを提案する。
まず、非対称なノイズスケジューリングを用いて特権的な視覚情報を構築し、よりクリーンなビデオコンテキストからより情報的なターゲットを生成する。
第2に,グループ型マルチノイズサンプリングを導入し,音声の監視範囲を拡大し,トレーニングの安定化を図る。
第3に,教師と学生の相違に基づく時間的重要度重み付けを導入し,信頼できない学習信号の低重み付けを行い,音声学習におけるゆらぎの安定化を図る。
JavisBench と VBench による評価では,OmniOPD は音声品質を保ちながら,映像の再生を著しく向上し,効果的なジョイント蒸留を実現している。
関連論文リスト
- AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。
AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。
実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-14T00:56:51Z) - Can You Hear, Localize, and Segment Continually? An Exemplar-Free Continual Learning Benchmark for Audio-Visual Segmentation [9.480328219158254]
現実の環境は本質的に動的であり、オーディオや視覚的な分布は時間とともに進化する。
単一ソースとマルチソースのAVSデータセットにまたがる4つの学習プロトコルを含む,Audio-Visualの最初の連続学習ベンチマークを紹介する。
低ランクアンコリング (LRA) を導入し, 損失感度に基づいて適応重量を安定化させることにより, 破滅的忘れを緩和する。
論文 参考訳（メタデータ） (2026-03-09T21:58:14Z) - Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation [20.446421146630474]
本稿では,事前に訓練したテキスト・トゥ・ビデオ(T2V)とテキスト・トゥ・オーディオ(T2A)モジュールを併用した,パラメータ効率のよいAVFullDiT(Audio-Video Full DiT)アーキテクチャを提案する。
以上の結果から,音声とビデオの関節装飾が同期以上の効果をもたらすという,最初の体系的な証拠が得られた。
論文 参考訳（メタデータ） (2025-12-02T06:31:38Z) - StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。
本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
論文 参考訳（メタデータ） (2025-08-11T17:58:24Z) - Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion
Latent Aligners [69.70590867769408]
ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。
既存の拡散に基づく手法は、ビデオと音声を別々に生成する。
本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
論文 参考訳（メタデータ） (2024-02-27T17:57:04Z) - STELLA: Continual Audio-Video Pre-training with Spatio-Temporal Localized Alignment [61.83340833859382]
様々な音声・ビデオの意味を時間とともに継続的に学習することは、音声関連推論タスクに不可欠である。
これは非時間的問題であり、オーディオとビデオのペア間のスパース時間相関と、オーディオとビデオの関係を忘れるマルチモーダル相関オーバーライトという2つの重要な課題を提起する。
本稿では,2つの新しいアイデアを取り入れた連続的なオーディオビデオ事前学習手法を提案する。
論文 参考訳（メタデータ） (2023-10-12T10:50:21Z) - Exploring the Role of Audio in Video Captioning [59.679122191706426]
本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。
本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
論文 参考訳（メタデータ） (2023-06-21T20:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。