論文の概要: Audio for Sports Highlight Detection: A Comparative Empirical Study

• arxiv url: http://arxiv.org/abs/2609.17923v1
• Date: Tue, 15 Sep 2026 23:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.573305
• Title: Audio for Sports Highlight Detection: A Comparative Empirical Study
• Title（参考訳）: スポーツハイライト検出のためのオーディオ:比較実験による検討
• Abstract要約: スポーツハイライト検出におけるオーディオの役割を再考し、簡単な質問をする。 我々は,事前学習した音声表現を用いて,軽量な音声のみのベースラインを構築し,SV-Highlightsベンチマークの視覚のみおよび視覚的手法と比較する。 以上の結果から,音声はスポーツハイライトの検出には過小評価されているが,重要な信号として扱われるべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 10.260215807035065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sports highlight detection aims to identify the most exciting and meaningful moments from long sports videos. While existing methods often emphasize visual or visual-language representations, sports videos contain rich audio cues, including commentator speech, crowd reactions, whistles, ball impacts, and referee calls. In this work, we revisit the role of audio in sports highlight detection and ask a simple question: how far can audio alone go? We construct lightweight audio-only baselines using pretrained audio representations and compare them with visual-only and audio-visual methods on the SV-Highlights benchmark. Surprisingly, our audio-only GRU baseline achieves strong performance and outperforms several existing audio-visual methods under our supervised evaluation setting. Furthermore, a simple audio-visual fusion baseline achieves the best performance across all metrics, indicating that audio and visual cues provide complementary information. To better understand the contribution of audio, we conduct source-separated analysis and show that vocal/commentary audio is more informative than background-only audio, while their combination performs best. We also analyze interpretable audio cues and find that highlight clips exhibit higher RMS loudness, peak loudness, and mid-frequency energy than non-highlight clips, although substantial distribution overlap indicates that loudness alone is insufficient. Our findings suggest that audio is an underexplored but highly informative modality for sports highlight detection and should be treated as a primary signal rather than merely an auxiliary cue.
• Abstract（参考訳）: スポーツハイライトの検出は、長いスポーツビデオから最もエキサイティングで有意義な瞬間を特定することを目的としている。 既存の手法では視覚的あるいは視覚的な表現が強調されることが多いが、スポーツビデオにはコメンテーターのスピーチ、群衆の反応、口笛、ボールの衝撃、審判の電話など、豊富なオーディオの手がかりが含まれている。 本研究では,スポーツハイライト検出における音声の役割を再考し,簡単な質問を行う。 我々は,事前学習した音声表現を用いて,軽量な音声のみのベースラインを構築し,SV-Highlightsベンチマークの視覚のみおよび視覚的手法と比較する。 驚いたことに、我々のオーディオのみのGRUベースラインは、強い性能を達成し、教師付き評価設定の下で、既存のオーディオ視覚法よりも優れています。 さらに、単純な音声-視覚融合ベースラインは、すべてのメトリクスで最高のパフォーマンスを達成し、オーディオと視覚の手がかりが相補的な情報を提供することを示す。 音声のコントリビューションをよりよく理解するために、音源分離分析を行い、背景のみのオーディオよりも音声/合成オーディオの方が有益であることを示す。 また、解釈可能なオーディオキューを分析し、ハイライトクリップは非ハイライトクリップよりも高いRMS音量、ピークラウドネス、中周波エネルギーを示すが、相当な分布重なりは、ラウドネスだけでは不十分であることを示している。 以上の結果から,音声はスポーツハイライト検出にはあまり役に立たないが,極めて有意義なモダリティであり,補助的キューではなく一次信号として扱うべきであることが示唆された。

関連論文リスト

• Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval [58.640807985155554]
  Video Moment Retrieval (VMR)は、特定のクエリに関連する特定のモーメントを検索することを目的としている。 既存のVMRメソッドの多くは、補完的ではあるが重要なオーディオのモダリティを無視しながら、視覚的およびテキスト的モダリティにのみ焦点をあてている。 本稿では,VMRの音声ビジョンコンテキストを動的かつ選択的に集約する,新しいImportance-Aware Multi-Granularity fusion Model (IMG)を提案する。
  論文  参考訳（メタデータ） (2025-08-06T09:58:43Z)
• Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup [2.80888070977859]
  映像と音声を併用した映像行動認識のための音声・視覚SSLを提案する。 UCF-51, Kinetics-400, VGGSoundデータセットの実験では,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2025-03-04T05:13:56Z)
• Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention [54.4258176885084]
  曖昧な音を正確に認識する方法は、音声キャプションにとって大きな課題である。 本稿では,視覚情報を利用して不明瞭な音の物体の記述を支援する視覚認識型音声キャプションを提案する。 提案手法は,機械翻訳メトリクスの最先端結果を実現する。
  論文  参考訳（メタデータ） (2022-10-28T22:45:41Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。