論文の概要: Benchmarking Representations for Speech, Music, and Acoustic Events

• arxiv url: http://arxiv.org/abs/2405.00934v1
• Date: Thu, 2 May 2024 01:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 18:14:01.363799
• Title: Benchmarking Representations for Speech, Music, and Acoustic Events
• Title（参考訳）: 音声・音楽・音響イベントのベンチマーク表現
• Authors: Moreno La Quatra, Alkis Koudounas, Lorenzo Vaiani, Elena Baralis, Luca Cagliero, Paolo Garza, Sabato Marco Siniscalchi,
• Abstract要約: ARCHは、多様なオーディオ分類領域上でARLメソッドを評価するための包括的なベンチマークである。 ARCHは12のデータセットで構成されており、異なるサイズのトレーニング済みSSLモデルを徹底的に評価することができます。 現在、非音声のためのオープンソースの事前学習モデルがないことに対処するため、非音声データセット上で強力なパフォーマンスを示す新しい事前学習モデルもリリースする。
• 参考スコア（独自算出の注目度）: 24.92641211471113
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Limited diversity in standardized benchmarks for evaluating audio representation learning (ARL) methods may hinder systematic comparison of current methods' capabilities. We present ARCH, a comprehensive benchmark for evaluating ARL methods on diverse audio classification domains, covering acoustic events, music, and speech. ARCH comprises 12 datasets, that allow us to thoroughly assess pre-trained SSL models of different sizes. ARCH streamlines benchmarking of ARL techniques through its unified access to a wide range of domains and its ability to readily incorporate new datasets and models. To address the current lack of open-source, pre-trained models for non-speech audio, we also release new pre-trained models that demonstrate strong performance on non-speech datasets. We argue that the presented wide-ranging evaluation provides valuable insights into state-of-the-art ARL methods, and is useful to pinpoint promising research directions.
• Abstract（参考訳）: 音声表現学習(ARL)手法の評価のための標準化されたベンチマークの限られた多様性は、現在の手法の能力の体系的な比較を妨げる可能性がある。 本稿では、様々な音声分類領域におけるARL手法の評価のための総合的なベンチマークであるARCHについて述べる。 ARCHは12のデータセットで構成されており、異なるサイズのトレーニング済みSSLモデルを徹底的に評価することができます。 ARCHは、広範囲のドメインへの統一アクセスと、新しいデータセットやモデルを簡単に組み込む機能を通じて、ARLテクニックのベンチマークを合理化している。 現在、非音声のためのオープンソースの事前学習モデルがないことに対処するため、非音声データセット上で強力なパフォーマンスを示す新しい事前学習モデルもリリースする。 提案した広範評価は,最先端ARL手法に関する貴重な洞察を与え,有望な研究方向の特定に有用である,と論じる。

関連論文リスト

• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• A Suite for Acoustic Language Model Evaluation [20.802090523583196]
  SALMonは、背景雑音、感情、話者識別、室内インパルス応答を含む新しい評価スイートである。 SALMon 上で複数の言語モデルを評価し,評価手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2024-09-11T17:34:52Z)
• Enhancing Audio-Language Models through Self-Supervised Post-Training with Text-Audio Pairs [3.8300818830608345]
  音声とテキストのマルチモーダルコントラスト学習戦略が急速に注目されている。 これらのモデルが自然言語や時間的関係を理解する能力は、いまだに未探索でオープンな研究分野である。 本稿では,時間的インスツルメント手法であるTeminalを用いて,時間的理解を伴うマルチモーダルALMを,従来の音声言語タスクの能力を損なうことなく装備することを提案する。
  論文  参考訳（メタデータ） (2024-08-17T18:53:17Z)
• Houston we have a Divergence: A Subgroup Performance Analysis of ASR Models [2.5168553347063862]
  Fearless Steps APOLLO Community Resourceは、マルチスピーカーチームコミュニケーションの可能性を探るための例外のない機会を提供する。 本研究では,ASR(Automatic Speech Recognition, 自動音声認識)手法により, アポロの録音を多かれ少なかれ理解しやすくする特徴を明らかにすることに焦点を当てた。
  論文  参考訳（メタデータ） (2024-03-31T10:06:19Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• MetaAudio: A Few-Shot Audio Classification Benchmark [2.294014185517203]
  この研究は、画像ベースのベンチマークへの依存を軽減することを目的として、初めて包括的で公開され、完全に再現可能なオーディオベースの代替手段を提供する。 7つの音声データセットにおいて,様々な手法の複数ショットの分類性能を比較した。 実験では,MAMLやMeta-Curvatureのような勾配に基づくメタ学習法が,測定法とベースライン法の両方で一貫して優れていた。
  論文  参考訳（メタデータ） (2022-04-05T11:33:44Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition [98.70304981174748]
  本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。 いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-09T15:06:09Z)
• Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition [71.96870151495536]
  低リソース音声コマンド認識(SCR)のための新しいAR手法を提案する。 ARプロシージャは、(対象領域から)音響信号を修正して、事前訓練されたSCRモデルを再利用することを目的としている。 提案したAR-SCRシステムについて,アラビア語,リトアニア語,マンダリン語を含む3つの低リソースSCRデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-10-08T05:07:35Z)
• Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
  自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。 事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
  論文  参考訳（メタデータ） (2021-07-10T02:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。