論文の概要: Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification

• arxiv url: http://arxiv.org/abs/2608.02397v1
• Date: Mon, 03 Aug 2026 15:39:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 21:56:46.388501
• Title: Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification
• Title（参考訳）: ファンデーションモデルは何の音を聴いたか? 閉セット音源同定のための音声言語モデルと従来型分類器のベンチマーク
• Abstract要約: 11種類の音声分類法をベンチマークする。 我々は,2,242本以上のクリップをクローズドセットした音源識別タスクで評価した。 最も優れたモデルであるGemini-3.1-Pro-Previewは85.6%のカテゴリーレベルのF1と56.7%の微粒なF1に達する。
• 参考スコア（独自算出の注目度）: 0.37331950863394864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We benchmark eleven audio classification methods: five task-aware closed-set LLMs (four Gemini models plus open-weight Kimi-Audio-7B-Instruct), four fixed-vocabulary taggers (YAMNet, PANNs, Whisper-AT, and SSLAM), a zero-shot audio-text model (CLAP), and an audio-grounded LLM (BAT). We evaluate them on a closed-set sound-source identification task over 2,242 clips spanning 23 fine-grained classes and 11 categories. Since these methods differ fundamentally in how they receive the task and how outputs are scored, we group them into four evaluation tiers rather than one leaderboard, reporting macro Precision, Recall, F1, and false-negative rate per tier. The best model, Gemini-3.1-Pro-Preview, reaches 85.6 percent category-level F1 and 56.7 percent fine-grained F1. Kimi-Audio is competitive for its size, reaching 67.5 percent category-level F1 and 32.9 percent fine-grained F1, but fails to answer 1.6 percent of samples. SSLAM and CLAP match or exceed the best closed-set model at the category level without seeing the candidate list, but fall behind at the fine-grained level. Analyzing the Gemini models' chain-of-thought across 8,968 responses, we find that response length does not predict accuracy, an apparent "holistic judgment beats detailed analysis" effect is better explained as a difficulty confound, and wrong answers are stated confidently 92 to 100 percent of the time. We report full per-class confusion matrices and metrics for all eleven methods, identify the structural error modes behind most of the accuracy loss between granularities, and give practical guidance for choosing among these method families.
• Abstract（参考訳）: 5つのタスク対応クローズドセットLLM(Geminiモデル+Kim-Audio-7B-Instruct)、4つの固定語彙タグ(YAMNet,PANNs,Whisper-AT,SSLAM)、ゼロショットオーディオテキストモデル(CLAP)、オーディオグラウンドドLLM(BAT)をベンチマークした。 我々は,23の微粒なクラスと11のカテゴリにまたがる2,242のクリップをクローズドセットの音源識別タスクで評価した。 これらの手法は、タスクの受信方法と出力のスコアの方法に根本的に異なるため、1つのリーダーボードではなく4つの評価階層にグループ化して、マクロ精度、リコール、F1、そして1層あたりの偽陰性率を報告します。 最も優れたモデルであるGemini-3.1-Pro-Previewは85.6%のカテゴリーレベルのF1と56.7%の微粒なF1に達する。 キミアウディオは67.5パーセントのカテゴリーレベルのF1と32.9%の微粒なF1に匹敵するが、サンプルの1.6%には届かなかった。 SSLAMとCLAPは、候補リストを見ることなく、カテゴリレベルで最高のクローズドセットモデルにマッチするか、あるいは超えるが、きめ細かいレベルで遅れる。 8,968件の回答でジェミニモデルの連鎖を解析したところ、応答長は正確さを予測せず、明らかな「全体的判断は詳細な分析に勝る」効果は難解であると説明され、誤った答えは92%から100%の確率で表されることがわかった。 本報告では,11種類のメソッドすべてに対して,クラスごとの混乱行列とメトリクスをフルに報告し,粒度間の精度損失のほとんどの背後にある構造的エラーモードを特定し,これらのメソッド群を選択するための実用的なガイダンスを提供する。

関連論文リスト

• Rethinking Noise-Robust Training for Frozen Vision Foundation Models: A Cross-Dataset Benchmark with a Case Study of Small-Loss Failure [7.512887610816016]
  軽微な分類ヘッドを持つ凍結視覚基礎モデル (VFM) は、医用画像の撮影にますます利用されている。 5つの医療データセット,3つのバックボーン,2つのノイズタイプ,5つのノイズレートにまたがる8つのノイズラベル手法のベンチマークを示す。 我々は,エビデンスに基づく指導と,実践的な勧告のための低信頼度特徴空間セレクタで締めくくる。
  論文  参考訳（メタデータ） (2026-05-21T15:02:44Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Do Lexical and Contextual Coreference Resolution Systems Degrade Differently under Mention Noise? An Empirical Study on Scientific Software Mentions [0.19364179562537212]
  我々は、コア参照解決に言及したクロスドキュメントソフトウェアにおけるSOMD 2026共有タスクへの参加を提示する。 我々は,Fizzy Matching (FM) とContext Aware Representation (CAR) の2つの細調整のない手法を比較した。 どちらも全てのサブタスク(CoNLL F1の0.94-0.96)で競争力を発揮し、CARは公式のテストセットでFMを1ポイント上回っている。
  論文  参考訳（メタデータ） (2026-04-02T15:37:03Z)
• BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
  大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。 BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
  論文  参考訳（メタデータ） (2026-03-16T02:50:43Z)
• MDAR: A Multi-scene Dynamic Audio Reasoning Benchmark [64.89810922949984]
  本稿では,複雑なマルチシーン,動的に進化する音声推論タスクのモデルを評価するためのベンチマークMDARを紹介する。 MDARは、様々なオーディオクリップにリンクされた3000の慎重にキュレートされた質問応答ペアから構成される。 MDAR上で26の最先端オーディオ言語モデルをベンチマークし、それらが複雑な推論タスクに制限があることを観察する。
  論文  参考訳（メタデータ） (2025-09-26T15:12:46Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• AV-Odyssey Bench: Can Your Multimodal LLMs Really Understand Audio-Visual Information? [65.49972312524724]
  マルチモーダルな大言語モデル(MLLM)は、視覚とオーディオのモダリティを含む機能を拡張した。 提案したDeafTestは、MLLMが人間にとって簡単なタスクとよく戦っていることを示している。 AV-Odyssey Benchは、これらのMLLMが真にオーディオ視覚情報を理解できるかどうかを評価するために設計された総合的なオーディオ視覚ベンチマークである。
  論文  参考訳（メタデータ） (2024-12-03T17:41:23Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Studying the Effect of Audio Filters in Pre-Trained Models for Environmental Sound Classification [0.0]
  我々は過去数年間に,ログメルスペクトル,ガンマトンスペクトル係数,メルスペクトル係数などの様々なオーディオ特徴から,様々なCNNモデルを用いて音声特徴を学習してきた。 本稿では,2レベル分類という新たな手法を提案する。レベル1は音声信号をより広いクラスに分類し,レベル2は音声が属する実際のクラスを見つける。 また,本論文では,Audio Cropの新たな手法を導入し,アキュの最大化を図った。
  論文  参考訳（メタデータ） (2024-08-24T18:13:07Z)
• Improving Post-Processing of Audio Event Detectors Using Reinforcement Learning [5.758073912084364]
  我々は,ポストプロセッシングスタックの様々な段階における最適パラメータを共同で発見するために強化学習を用いる。 音声イベントベースのマクロF1スコアを4-5%改善できることがわかった。
  論文  参考訳（メタデータ） (2022-08-19T08:00:26Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。