論文の概要: CARES: A Controlled Synthetic Benchmark of Speaker Reactions to Sound

• arxiv url: http://arxiv.org/abs/2610.10208v1
• Date: Wed, 07 Oct 2026 15:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.984699
• Title: CARES: A Controlled Synthetic Benchmark of Speaker Reactions to Sound
• Title（参考訳）: CARES: 音に対する話者反応の制御された合成ベンチマーク
• Abstract要約: まず、基礎的な真実を定義し、次にデータを生成します。 スケールと多様性のために、制御されたシナリオのセットが基礎的な真実を修正し、言語モデルが対話を書く。 コーパスのCARESには1万の2つのスピーカーシーンが含まれている。
• 参考スコア（独自算出の注目度）: 10.510875914691384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic audio scene description turns a recording into a text account of a situation. One difficulty is deciding which elements of the audio should be kept, since a description cannot include them all. Annotators disagree about this, making a ground truth hard to obtain. In this work, we first define the ground truth, then generate the data. We focus on audio events and define sound salience with a simple rule: a sound is salient when a speaker audibly reacts to it. For scale and variety, a controlled set of scenarios fixes the ground truth, and a language model writes the dialogues. The resulting corpus, CARES, contains 10,000 two-speaker scenes. We then benchmark six audio-language models on three tasks: identifying the scene, tagging the sounds present, and classifying reactions. We show that these models hear the sounds but miss how the speakers react to them.
• Abstract（参考訳）: 自動音声シーン記述は、記録を状況のテキストアカウントに変換する。 オーディオのどの要素を保持すべきかを決めるのが難しい。 注釈はこれに異を唱え、真理を得るのを困難にしている。 この研究では、まずまず基礎的真理を定義し、次にデータを生成する。 我々は、音声イベントに焦点をあて、単純な規則で音のサリエンスを定義する。 スケールと多様性のために、制御されたシナリオのセットが基礎的な真実を修正し、言語モデルが対話を書く。 コーパスのCARESには1万の2つのスピーカーシーンが含まれている。 次に、シーンを特定し、現在ある音をタグ付けし、反応を分類する3つのタスクについて、6つのオーディオ言語モデルをベンチマークする。 これらのモデルでは、音が聞こえるが、スピーカーがどのように反応するかを見逃している。

関連論文リスト

• Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace [25.30608614532135]
  音声言語モデルは、特定の方法でブラックボックスである。 われわれはそれが何を言っているかを見るが、そこで何がうまくいくかは見当たらない。 モデルの中層では、話し言葉の質問に対する答えが(言葉で言えば)正当であることが分かりました。
  論文  参考訳（メタデータ） (2026-08-25T06:17:28Z)
• Multi-Domain Audio Question Answering Toward Acoustic Content Reasoning in The DCASE 2025 Challenge [102.84031769492708]
  本課題は,多様な音響シーンに対する対話型質問応答における音声モデルをテストするための3つのQAサブセットを定義する。 開発セットの予備的な結果を比較し、モデルとサブセット間で強い変動を示す。 この課題は、音声モデルの音声理解と推論能力を人間レベルに向上することを目的としている。
  論文  参考訳（メタデータ） (2025-05-12T09:04:16Z)
• Solla: Towards a Speech-Oriented LLM That Hears Acoustic Context [45.56363286769136]
  本稿では,音声に基づく質問を理解し,そのコンテキストを同時に聴くように設計された新しいフレームワークであるSollaを紹介する。 Sollaには、音声イベントを効果的に識別し表現するためのオーディオタグモジュールと、音声コンテンツの理解を改善するためのASR支援予測手法が組み込まれている。 本稿では,音声イベント分類,音声キャプション,音声質問応答の3つのタスクを含むSA-Evalというベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:34:21Z)
• Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments [34.67934887761352]
  従来,雑音による話者特性の抽出について検討されてきた。 そこで本研究では,雑音によるターゲット話者情報を符号化する新しい学習戦略について検討する。 実験により,従来よりも2.1dB以上のSI-SNRiを実現するモデルアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-23T15:33:44Z)
• ADIFF: Explaining audio difference using natural language [31.963783032080993]
  本稿では,音声の違いを説明するタスクを包括的に研究し,そのタスクのベースラインであるベンチマークを提案する。 本稿では,AudioCaps と Clotho の音声キャプションデータセットから得られた音声差分説明のための2つの新しいデータセットを提案する。 提案するADIFFは, クロスプロジェクションモジュール, 位置キャプション, 3段階のトレーニングプロセスを導入し, 詳細な説明を行う能力を向上させる。
  論文  参考訳（メタデータ） (2025-02-06T20:00:43Z)
• Character-aware audio-visual subtitling in context [58.95580154761008]
  本稿では,テレビ番組における文字認識型音声視覚サブタイピングのための改良されたフレームワークを提案する。 提案手法は,音声認識,話者ダイアリゼーション,文字認識を統合し,音声と視覚の両方を活用する。 提案手法を12テレビ番組のデータセット上で検証し,既存手法と比較して話者ダイアリゼーションと文字認識精度に優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T20:27:34Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)
• Epic-Sounds: A Large-scale Dataset of Actions That Sound [64.24297230981168]
  EPIC-SOUNDSには78.4kの分類された音声イベントとアクションがあり、44のクラスと39.2kの非分類セグメントに分散している。 我々は、オーディオのみの手法とオーディオ視覚的手法の両方において、データセット上で最先端の音声認識および検出モデルを訓練し、評価する。
  論文  参考訳（メタデータ） (2023-02-01T18:19:37Z)
• AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios [143.47967241972995]
  高品質音声合成のためのゼロショット適応型TSシステムであるAdaSpeech 4を開発した。 話者特性を体系的にモデル化し、新しい話者の一般化を改善する。 微調整なしでは、AdaSpeech 4は複数のデータセットのベースラインよりも声質と類似性が向上する。
  論文  参考訳（メタデータ） (2022-04-01T13:47:44Z)
• What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure [64.54208910952651]
  オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。 音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。 ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
  論文  参考訳（メタデータ） (2021-01-02T06:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。