論文の概要: EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment

• arxiv url: http://arxiv.org/abs/2610.22186v1
• Date: Thu, 15 Oct 2026 16:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.195571
• Title: EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment
• Title（参考訳）: EVA-Cap:イベント中心アライメントによる視覚的ビデオキャプションの最適化
• Abstract要約: EVA-Capは、キャプションをアトミックオーディオヴィジュアルイベントに分解する新しいフレームワークである。 EVA-Capをスーパーバイザード・ファインチューニング(SFT)とグループ相対ポリシー最適化(GRPO)を通じて、自己計算したデータセットであるEVA-Dataでトレーニングする。 実験により、EVA-Capはイベント中心の評価において既存の手法を大幅に上回っていることが示された。
• 参考スコア（独自算出の注目度）: 50.02053702165792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Omni Language Models (OLMs) provide a unified solution for audiovisual video captioning. Nevertheless, existing approaches predominantly treat captioning as an unstructured text generation process, neglecting the inherent semantic structure of videos and leading to suboptimal fine-grained audiovisual alignment. To bridge this gap, we propose EVA-Cap, a novel framework that decomposes captions into atomic audiovisual events and transforms unstructured text supervision into event-centric alignment. We train EVA-Cap via Supervised Fine-Tuning (SFT) and Group Relative Policy Optimization (GRPO) on a self-curated dataset, EVA-Data, which is built with event-centric quality control. During the GRPO phase, the model is explicitly optimized against three event-centric alignment targets: global event completeness, intra-event attribution, and inter-event synchronization. Extensive experiments demonstrate that EVA-Cap significantly outperforms existing methods in event-centric evaluation (e.g., +9.0% average gain on ChronusAV), while achieving competitive performance on general audiovisual captioning benchmarks (e.g., +3.3% on WorldSense).
• Abstract（参考訳）: Omni Language Models (OLMs) の最近の進歩は、音声映像キャプションのための統一的なソリューションを提供する。 それにもかかわらず、既存のアプローチはキャプションを非構造化のテキスト生成プロセスとして扱い、ビデオの固有の意味構造を無視し、微妙なオーディオヴィジュアルアライメントをもたらす。 このギャップを埋めるため、我々は字幕をアトミックなオーディオ視覚イベントに分解し、構造化されていないテキストの監督をイベント中心のアライメントに変換する新しいフレームワークであるEVA-Capを提案する。 イベント中心の品質管理を備えた自己計算データセットであるEVA-Data上で,SFT(Supervised Fine-Tuning)とGRPO(Group Relative Policy Optimization)を通じてEVA-Capをトレーニングする。 GRPOフェーズでは、大域的なイベント完全性、イベント内属性、イベント間の同期という、3つのイベント中心アライメントターゲットに対して、モデルが明示的に最適化される。 大規模な実験では、EVA-Capはイベント中心の評価において既存の手法を著しく上回り(例えばChronusAVでは+9.0%)、一般的なオーディオヴィジュアルキャプションベンチマーク(WorldSenseでは+3.3%)で競争性能を達成した。

関連論文リスト

• PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
  共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-10-09T09:48:12Z)
• DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation [4.041253468990907]
  実世界の音声分離のための分離型音声視覚強調フレームワークであるDAVEについて述べる。 データ不足問題に対処するため,公開ミーティングコーパスから生成した219,411個の混合物を混合した大規模トレーニングコーパスであるDAVE-Corpusを構築した。 さらに,シーンルーティング,GANに基づくデノナイジング,大音量正規化を非参照パーティション内でのみ適用可能な,認証された選択的拡張チェーンを開発した。
  論文  参考訳（メタデータ） (2026-08-10T08:41:28Z)
• OmniShow: Unifying Multimodal Conditions for Human-Object Interaction Video Generation [75.70865997182294]
  ヒューマンオブジェクトインタラクションビデオ生成(Human-Object Interaction Video Generation、HOIVG)は、テキスト、参照画像、オーディオ、ポーズで条件付けられた高品質なヒューマンオブジェクトインタラクションビデオを合成することを目的としている。 我々は、この実用的で挑戦的なタスクに適したエンドツーエンドフレームワークであるOmniShowを紹介します。
  論文  参考訳（メタデータ） (2026-04-13T17:59:12Z)
• Generalizable Audio-Visual Navigation via Binaural Difference Attention and Action Transition Prediction [9.175273901304253]
  オーディオ・ビジュアル・ナビゲーション(AVN)では、エージェントは視覚的および聴覚的手がかりを使用して、見えない3D環境の音源を見つける必要がある。 本稿では,認知と政策を協調的に最適化する行動遷移予測(BDATP)フレームワークを提案する。 我々のフレームワークは、ほとんどの設定において最先端の成功率を達成し、未聴音に対するReplicaデータセットにおいて最大21.6ポイントの絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-04-06T13:08:36Z)
• DegDiT: Controllable Audio Generation with Dynamic Event Graph Guided Diffusion Transformer [43.48616092324736]
  制御可能な音声生成のための動的イベントグラフ誘導拡散トランスフォーマフレームワークであるDegDiTを提案する。 DegDiTは、記述中のイベントを構造化された動的グラフとしてエンコードする。 AudioCondition、DESED、AudioTimeデータセットの実験は、DegDiTが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-08-19T12:41:15Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Multimodal Variational Auto-encoder based Audio-Visual Segmentation [46.67599800471001]
  ECMVAEは、各モダリティの表現をモダリティ共有表現とモダリティ固有表現で分解する。 当社のアプローチでは,3.84mIOUの性能向上を図りながら,音声・視覚的セグメンテーションのための新たな最先端技術が実現されている。
  論文  参考訳（メタデータ） (2023-10-12T13:09:40Z)
• Leveraging the Video-level Semantic Consistency of Event for Audio-visual Event Localization [8.530561069113716]
  AVEローカライゼーションタスクのためのビデオレベルのセマンティック・コンセンサス・ガイダンス・ネットワークを提案する。 クロスモーダルなイベント表現抽出器と、モーダル内のセマンティック一貫性向上器の2つのコンポーネントから構成される。 我々は、パブリックなAVVデータセット上で広範な実験を行い、完全に教師された設定と弱い設定の両方において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-11T08:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。