論文の概要: Performance Improvement of Language-Queried Audio Source Separation Based on Caption Augmentation From Large Language Models for DCASE Challenge 2024 Task 9

• arxiv url: http://arxiv.org/abs/2406.11248v2
• Date: Wed, 27 Nov 2024 02:17:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:22:47.091182
• Title: Performance Improvement of Language-Queried Audio Source Separation Based on Caption Augmentation From Large Language Models for DCASE Challenge 2024 Task 9
• Title（参考訳）: DCASEチャレンジ2024タスク9における大言語モデルからのキャプション拡張に基づく言語情報音源分離の性能改善
• Authors: Do Hyun Lee, Yoonah Song, Hong Kook Kim,
• Abstract要約: 本稿では,言語クエリ音声ソース分離(LASS)タスクに適用した,プロンプトエンジニアリングに基づくテキスト拡張手法を提案する。 学習データセットの各文に対応する複数の字幕を生成するために,大規模言語モデル (LLM) を用いた。
• 参考スコア（独自算出の注目度）: 4.328586290529485
• License:
• Abstract: We present a prompt-engineering-based text-augmentation approach applied to a language-queried audio source separation (LASS) task. To enhance the performance of LASS, the proposed approach utilizes large language models (LLMs) to generate multiple captions corresponding to each sentence of the training dataset. To this end, we first perform experiments to identify the most effective prompts for caption augmentation with a smaller number of captions. A LASS model trained with these augmented captions demonstrates improved performance on the DCASE 2024 Task 9 validation set compared to that trained without augmentation. This study highlights the effectiveness of LLM-based caption augmentation in advancing language-queried audio source separation.
• Abstract（参考訳）: 本稿では,言語クエリ音声ソース分離(LASS)タスクに適用した,プロンプトエンジニアリングに基づくテキスト拡張手法を提案する。 学習データセットの各文に対応する複数の字幕を生成するために,大規模言語モデル (LLM) を用いた。 そこで我々はまず,キャプション増強のための最も効果的なプロンプトを,より少ない数のキャプションで同定する実験を行った。 これらの付加キャプションで訓練されたLASSモデルは、強化なしで訓練されたものと比較してDCASE 2024 Task 9の検証セットで改善された性能を示す。 本研究は,LLMに基づくキャプション拡張が,言語クエリによる音声ソース分離に有効であることを示す。

関連論文リスト

• Zero-resource Speech Translation and Recognition with LLMs [38.11535502039386]
  我々は,ペア音声テキストデータを見たことのない言語において,多言語大言語モデル(LLM)を用いてSTとASRを実行することを提案する。 我々は、事前訓練された多言語音声エンコーダ、多言語LLM、およびLLMのトークン埋め込み空間に音声表現をマッピングする軽量適応モジュールを用いて、これを実現する。
  論文  参考訳（メタデータ） (2024-12-24T17:37:11Z)
• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Do Audio-Language Models Understand Linguistic Variations? [42.17718387132912]
  Open-vocabulary Audio Language Model (ALM)は、自然言語クエリを用いた音声テキスト検索の新しいパラダイムである。 本稿では,言語変化に対する音声表現を学習するための新しい,計算効率の高い手法であるRobostCLAPを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:55:33Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Generative linguistic representation for spoken language identification [17.9575874225144]
  本稿では,Whisperモデルからデコーダベースのネットワークを利用して言語的特徴を抽出する方法について検討する。 言語埋め込み法とLID出力の直接最適化に焦点を当てた2つの戦略を考案した。 我々は,MLS,VoxLingua107,CommonVoiceといった大規模多言語データセットを用いて,我々のアプローチをテストする実験を行った。
  論文  参考訳（メタデータ） (2023-12-18T06:40:24Z)
• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations [7.817685358710508]
  本稿では,録音やテキストによる記述を共有音声空間に投影するシステムを提案する。 以上の結果から, 使用済み拡張戦略は過剰適合を低減し, 検索性能の向上を図っている。 さらに、AudioCapsデータセットで事前トレーニングを行うことで、さらなる改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-08-24T11:54:42Z)
• Transducer-based language embedding for spoken language identification [38.60303603000269]
  音響的特徴と言語的特徴は,音声言語識別作業において重要な手がかりである。 近年の先進的なLIDシステムは、言語的特徴符号化を欠いた音響的特徴を主に用いている。 本稿では,RNNトランスデューサモデルを言語埋め込みフレームワークに統合することにより,LIDタスクのための新しいトランスデューサベースの言語埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2022-04-08T07:23:43Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training [72.004873454347]
  教師なし話者情報抽出の2つの手法が導入された。 SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。 トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-10-12T05:43:30Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。