論文の概要: Audio Explanation Synthesis with Generative Foundation Models

• arxiv url: http://arxiv.org/abs/2410.07530v1
• Date: Thu, 10 Oct 2024 01:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:36:31.298313
• Title: Audio Explanation Synthesis with Generative Foundation Models
• Title（参考訳）: 生成基礎モデルを用いた音声説明合成
• Authors: Alican Akman, Qiyang Sun, Björn W. Schuller,
• Abstract要約: 既存の手法は主に、最終的な決定に対する影響に基づいて、入力空間内の要素に重要性をもたらすことによって、音声基礎モデルの説明に重点を置いている。 本稿では,音声基礎モデルの生成能力を生かした新しい音声説明手法を提案する。
• 参考スコア（独自算出の注目度）: 42.33274794442013
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The increasing success of audio foundation models across various tasks has led to a growing need for improved interpretability to understand their intricate decision-making processes better. Existing methods primarily focus on explaining these models by attributing importance to elements within the input space based on their influence on the final decision. In this paper, we introduce a novel audio explanation method that capitalises on the generative capacity of audio foundation models. Our method leverages the intrinsic representational power of the embedding space within these models by integrating established feature attribution techniques to identify significant features in this space. The method then generates listenable audio explanations by prioritising the most important features. Through rigorous benchmarking against standard datasets, including keyword spotting and speech emotion recognition, our model demonstrates its efficacy in producing audio explanations.
• Abstract（参考訳）: 様々なタスクにわたる音声基礎モデルの成功が増大し、より複雑な意思決定プロセスを理解するための解釈可能性の向上の必要性が高まっている。 既存の手法は主に、最終的な決定に対する影響に基づいて、入力空間内の要素に重要性をもたらすことによって、これらのモデルを説明することに重点を置いている。 本稿では,音声基礎モデルの生成能力を生かした新しい音声説明手法を提案する。 提案手法は,これらのモデルにおける埋め込み空間の内在的表現力を利用して,確立された特徴属性技術を統合することにより,この空間における重要な特徴を同定する。 そして、最も重要な特徴を優先して、聞きやすい音声説明を生成する。 キーワードスポッティングや音声感情認識など,標準データセットに対する厳密なベンチマークによって,本モデルは音声説明の作成に有効であることを示す。

関連論文リスト

• Understanding Representation Dynamics of Diffusion Models via Low-Dimensional Modeling [25.705179111920806]
  この研究は、拡散モデルが高品質な表現を自己指導的に学習する上で優れている理由と時期に関する問題に対処する。 我々は低次元データモデルと後続推定に基づく数学的枠組みを開発し、画像生成の最終段階に近い生成と表現品質の基本的なトレードオフを明らかにする。 これらの知見に基づいて,ノイズレベルをまたいだ特徴を集約するアンサンブル法を提案し,ラベル雑音下でのクリーンな性能とロバスト性の両方を著しく改善する。
  論文  参考訳（メタデータ） (2025-02-09T01:58:28Z)
• Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
  大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。 これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2024-10-21T15:55:27Z)
• Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization [25.213694510527436]
  既存の話者ダイアリゼーションシステムの多くは、単調な音響情報のみに依存している。 本稿では,音声,視覚,意味的手がかりを併用して話者ダイアリゼーションを向上する新しいマルチモーダル手法を提案する。 我々の手法は、最先端の話者ダイアリゼーション法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-08-22T03:34:03Z)
• ELF: Encoding Speaker-Specific Latent Speech Feature for Speech Synthesis [5.824018496599849]
  多数の話者をモデル化する新しい手法を提案する。 訓練されたマルチスピーカーモデルのように、話者の全体的な特徴を詳細に表現することができる。
  論文  参考訳（メタデータ） (2023-11-20T13:13:24Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
  音声強調と音声分離は関連する2つの課題である。 伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。 ディープラーニングは強力なパフォーマンスを達成するために利用されています。
  論文  参考訳（メタデータ） (2020-08-21T17:24:09Z)
• Disentangled Speech Embeddings using Cross-modal Self-supervision [119.94362407747437]
  本研究では,映像における顔と音声の自然な相互同期を生かした自己教師型学習目標を提案する。 我々は,(1)両表現に共通する低レベルの特徴を共有する2ストリームアーキテクチャを構築し,(2)これらの要因を明示的に解消する自然なメカニズムを提供する。
  論文  参考訳（メタデータ） (2020-02-20T14:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。