論文の概要: Audio Captioning via Generative Pair-to-Pair Retrieval with Refined Knowledge Base

• arxiv url: http://arxiv.org/abs/2410.10913v1
• Date: Mon, 14 Oct 2024 04:57:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:00:52.681795
• Title: Audio Captioning via Generative Pair-to-Pair Retrieval with Refined Knowledge Base
• Title（参考訳）: 知識ベースを改良したペア対ペア検索による音声キャプション
• Authors: Choi Changin, Lim Sungjun, Rhee Wonjong,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、知識ベースから音声テキストペアを検索し、クエリオーディオで拡張し、正確なテキスト応答を生成する。 生成したキャプションをテキストクエリとして使用して,関連する音声テキストペアを正確に検索する生成ペア対検索を提案する。 提案手法は,AudioCaps,Clotho,Auto-ACDといったベンチマークの最先端結果を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in audio understanding tasks leverage the reasoning capabilities of LLMs. However, adapting LLMs to learn audio concepts requires massive training data and substantial computational resources. To address these challenges, Retrieval-Augmented Generation (RAG) retrieves audio-text pairs from a knowledge base (KB) and augments them with query audio to generate accurate textual responses. In RAG, the relevance of the retrieved information plays a crucial role in effectively processing the input. In this paper, we analyze how different retrieval methods and knowledge bases impact the relevance of audio-text pairs and the performance of audio captioning with RAG. We propose generative pair-to-pair retrieval, which uses the generated caption as a text query to accurately find relevant audio-text pairs to the query audio, thereby improving the relevance and accuracy of retrieved information. Additionally, we refine the large-scale knowledge base to retain only audio-text pairs that align with the contextualized intents. Our approach achieves state-of-the-art results on benchmarks including AudioCaps, Clotho, and Auto-ACD, with detailed ablation studies validating the effectiveness of our retrieval and KB construction methods.
• Abstract（参考訳）: 音声理解タスクの最近の進歩は、LLMの推論能力を活用している。 しかし、LLMをオーディオ概念の学習に適用するには、膨大なトレーニングデータとかなりの計算資源が必要である。 これらの課題に対処するため、Retrieval-Augmented Generation (RAG)は知識ベース(KB)からオーディオテキストペアを取得し、クエリオーディオで拡張して正確なテキスト応答を生成する。 RAGでは、検索された情報の関連性は、入力を効果的に処理する上で重要な役割を果たす。 本稿では,検索手法と知識ベースの違いが音声テキストペアの関連性とRAGによる音声キャプションの性能に与える影響を解析する。 生成したキャプションをテキストクエリとして使用して、クエリ音声に関連のある音声テキストペアを正確に見つけることにより、検索した情報の関連性と精度を向上させる。 さらに、大規模知識基盤を改良し、文脈化された意図に適合する音声テキストペアのみを保持する。 提案手法は,AudioCaps,Clotho,Auto-ACDなどのベンチマークを用いて,検索手法とKB構築手法の有効性を検証したアブレーション実験により,最先端の成果を得られた。

関連論文リスト

• Large Language Models Are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法の評価を行い,WERが0.81%,0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Learning Robust Named Entity Recognizers From Noisy Data With Retrieval Augmentation [67.89838237013078]
  名前付きエンティティ認識(NER)モデルは、しばしばノイズの多い入力に悩まされる。 ノイズの多いテキストとそのNERラベルのみを利用できる、より現実的な設定を提案する。 我々は、推論中にテキストを取得することなく、堅牢なNERを改善するマルチビュートレーニングフレームワークを採用している。
  論文  参考訳（メタデータ） (2024-07-26T07:30:41Z)
• Weakly-supervised Automated Audio Captioning via text only training [1.504795651143257]
  本稿では,テキストデータと事前学習されたCLAPモデルのみを前提として,AACモデルをトレーニングするための弱い教師付きアプローチを提案する。 提案手法をClosoとAudioCapsのデータセット上で評価し,完全に教師されたアプローチと比較して,最大83%の相対的な性能を実現する能力を示した。
  論文  参考訳（メタデータ） (2023-09-21T16:40:46Z)
• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Zero-shot Audio Topic Reranking using Large Language Models [42.774019015099704]
  実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。 本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。 パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-09-14T11:13:36Z)
• AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model [53.492751392755636]
  本稿では、音声モダリティを用いて、視覚的モダリティの不十分な音声情報を補うために、AKVSR(AKVSR)を提案する。 提案手法の有効性を広範囲な実験により検証し,広範に使用されているLSS3データセット上で新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-15T06:38:38Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• Efficient Audio Captioning Transformer with Patchout and Text Guidance [74.59739661383726]
  本稿では, [1] で提案した Patchout を利用したフルトランスフォーマーアーキテクチャを提案する。 キャプション生成は、事前訓練された分類モデルにより抽出されたテキストオーディオセットタグに部分的に条件付けされる。 提案手法は,DCASE Challenge 2022のタスク6Aで審査員賞を受賞している。
  論文  参考訳（メタデータ） (2023-04-06T07:58:27Z)
• Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval [37.02112904035811]
  公開ウェブサイトで利用できる音声データの量は急速に増加している。 本稿では,問合せ音声と似ているが若干異なるターゲット音声を検索できるコンテンツベース音声検索手法を提案する。
  論文  参考訳（メタデータ） (2022-07-20T08:19:54Z)
• Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning [25.06635361326706]
  インタラクティブなモダリティ表現を学習するための,CLIP-AACと呼ばれる新しいAACシステムを提案する。 提案するCLIP-AACでは,事前学習エンコーダにオーディオヘッドとテキストヘッドを導入し,音声テキスト情報を抽出する。 また、音声信号と2つの字幕の対応を学習することで、ドメイン差を狭めるためにコントラスト学習を適用する。
  論文  参考訳（メタデータ） (2022-03-29T13:06:46Z)
• Audio-text Retrieval in Context [24.38055340045366]
  そこで本研究では,音声・テキストのアライメントを改善するために,複数のオーディオ機能とシーケンスアグリゲーション手法について検討する。 我々は,事前学習した音声特徴と記述子に基づくアグリゲーション法を用いた文脈音声テキスト検索システムを構築した。 提案システムでは、リコール、中央値、平均値を含むすべての指標において、双方向音声テキスト検索において顕著な改善が達成されている。
  論文  参考訳（メタデータ） (2022-03-25T13:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。