論文の概要: Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training

• arxiv url: http://arxiv.org/abs/2610.05416v1
• Date: Sun, 04 Oct 2026 17:58:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:53:40.752385
• Title: Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Training
• Title（参考訳）: Prism: ネイティブ2Kジョイントビデオ・オーディオ生成モデルトレーニングのためのダイナミックスパース注意
• Abstract要約: 2Kでビデオオーディオ生成モデルをトレーニングするための動的スパースアテンションフレームワークであるPrismを提案する。 Prismはトークンシーケンスをマクロゾーンに整理し、アテンション構造がローカルコンテンツに適応できるようにする。 実験によると、Prismはトレーニングのスピードアップをフルアテンションに比べて2.5$times$で達成し、世代品質を上回っている。
• 参考スコア（独自算出の注目度）: 103.58504503178754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natively training joint video-audio generation models at higher resolutions empowers them to learn richer visual details and sharper motion dynamics. However, full attention incurs quadratic cost and, as resolution increases, spreads attention over increasingly redundant tokens, diluting learning signals for informative content and disrupting pretrained priors. Existing sparse attention methods either target training-free acceleration or overlook the unique structure of joint video-audio data, where cross-modal interactions are inherently concentrated around sound-producing regions. To address this, we propose Prism, a dynamic sparse attention framework for natively training joint video-audio generation models at 2K. In particular, Prism organizes the token sequence into spatiotemporal macro-zones, enabling the attention structure to adapt to local content. For each zone, it estimates local information structure via video feature variance along the channel and feature norms from the audio-to-video cross-attention, jointly capturing how visual content varies directionally and how strongly audio influences each visual region. Based on these signals, Prism dynamically assigns a tailored block shape to each zone, applying finer partitioning along axes of rapid visual content variation and strong audio-visual coupling. This encourages tokens within each block to remain semantically coherent, allowing block-level features to capture both visual content and joint video-audio interaction patterns. Prism further adopts a hybrid block selection strategy to dynamically determine per-query sparsity. Experiments show that Prism achieves 2.5$\times$ training speedup compared to full attention, while surpassing it in generation quality.
• Abstract（参考訳）: より高解像度のジョイントビデオオーディオ生成モデルをネイティブにトレーニングすることで、よりリッチな視覚的詳細とよりシャープなモーションダイナミクスを学ぶことができる。 しかし、フルアテンションは2次コストを発生させ、解像度が増大するにつれて、冗長なトークンよりも注意が広がり、情報コンテンツのための学習信号が希薄になり、事前訓練された前もって混乱する。 既存のスパースアテンション手法は、トレーニング不要なアクセラレーションを目標とするか、あるいは、音声生成領域に本質的にクロスモーダル相互作用が集中しているジョイントビデオオーディオデータのユニークな構造を見渡すかのいずれかである。 そこで我々はPrismを提案する。Prismは2Kでのジョイント・オーディオ生成モデルをネイティブに訓練するための動的スパース・アテンション・フレームワークである。 特に、Prismはトークン配列を時空間マクロゾーンに整理し、注意構造を局所的な内容に適応させる。 各ゾーンに対して、チャンネルに沿った映像特徴分散と、音声と映像の相互注意から特徴ノルムを推定し、視覚コンテンツが方向によってどのように変化するか、そして音声がそれぞれの視覚領域にどれほど強く影響するかを共同で把握する。 これらの信号に基づいて、Prismは動的に各ゾーンに調整されたブロック形状を割り当て、高速な視覚コンテンツの変化と強いオーディオと視覚の結合の軸に沿ってより微細なパーティショニングを施す。 これにより、各ブロック内のトークンはセマンティック・コヒーレントのままでいられるようになり、ブロックレベルのフィーチャは、ビジュアルコンテンツとジョイントビデオとオーディオのインタラクションパターンの両方をキャプチャできる。 Prismはさらにハイブリッドブロック選択戦略を採用し、クエリごとの間隔を動的に決定する。 実験の結果、Prismはトレーニングのスピードアップをフルアテンションに比べて2.5$\timesで達成し、世代品質を上回ります。

関連論文リスト

• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
  SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。 入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-01T17:05:04Z)
• DTFSal: Audio-Visual Dynamic Token Fusion for Video Saliency Prediction [5.13730975608994]
  映像中の有声領域を識別することで人間の視覚的注意を模倣することを目的としている。 本稿では,精度と計算効率の両立を図った新しいオーディオ・ビジュアル・サリエンシ予測フレームワークであるDFTSalを提案する。
  論文  参考訳（メタデータ） (2025-04-14T10:17:25Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• Selective Volume Mixup for Video Action Recognition [89.67716672312358]
  本稿では,限られたトレーニングビデオを用いた深層モデルの一般化能力を向上させるために,選択ボリューム混合(SV-Mix)と呼ばれる新しいビデオ拡張戦略を提案する。 SV-Mixは、2つのビデオから最も情報性の高いボリュームを選択するための学習可能な選択モジュールを考案し、新しいトレーニングビデオを達成するためにボリュームをミックスする。 SV-Mix拡張の利点を幅広いビデオアクション認識ベンチマークで実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-18T07:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。