論文の概要: ATIR: Towards Audio-Text Interleaved Contextual Retrieval
- arxiv url: http://arxiv.org/abs/2604.20267v1
- Date: Wed, 22 Apr 2026 07:11:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:11.009189
- Title: ATIR: Towards Audio-Text Interleaved Contextual Retrieval
- Title（参考訳）: ATIR: 音声テキストをインターリーブしたコンテキスト検索を目指して
- Authors: Tong Zhao, Chenghao Zhang, Yutao Zhu, Zhicheng Dou,
- Abstract要約: 本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。
このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
- 参考スコア（独自算出の注目度）: 63.68521448682396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio carries richer information than text, including emotion, speaker traits, and environmental context, while also enabling lower-latency processing compared to speech-to-text pipelines. However, recent multimodal information retrieval research has predominantly focused on images, largely overlooking audio, especially in the setting of interleaved audio-text contextual retrieval. In this work, we introduce the Audio-Text Interleaved contextual Retrieval (ATIR) task, where queries can alternate between audio and text modalities. We construct an ATIR benchmark by integrating several Automatic Speech Recognition (ASR), QA, and retrieval datasets, ultimately unifying four types of contextual retrieval tasks. This benchmark substantially addresses the limitations of existing audio retrieval datasets in semantic retrieval. To study this task, we evaluate several off-the-shelf retrievers and train our ATIR model based on a Multimodal Large Language Model (MLLM). We further introduce a novel token compression mechanism that is orthogonal to existing compression methods, thereby alleviating the issue of excessive audio tokens in MLLM-based ATIR models. Experimental results demonstrate that our ATIR model achieves substantial improvements over strong baselines.
- Abstract（参考訳）: 音声は感情、話者の特徴、環境コンテキストを含むテキストよりもリッチな情報を持ち、音声からテキストへのパイプラインに比べて低レイテンシな処理を可能にする。
しかし、近年のマルチモーダル情報検索研究は、主に画像に焦点を合わせ、特にインターリーブされた音声テキストコンテキスト検索の設定において、音声を見渡すことに重点を置いている。
本研究では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。
我々は、複数の自動音声認識(ASR)、QA、検索データセットを統合することで、ATIRベンチマークを構築し、最終的に4種類のコンテキスト検索タスクを統合する。
このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
そこで本研究では,市販のレトリバーを複数評価し,マルチモーダル大言語モデル(MLLM)に基づいてATIRモデルを訓練する。
さらに,既存の圧縮手法と直交する新しいトークン圧縮機構を導入し,MLLMベースのATIRモデルにおける過剰なオーディオトークンの問題を軽減する。
実験結果から,ATIRモデルは強いベースラインよりも大幅に向上することが示された。
関連論文リスト
- A Cascaded Architecture for Extractive Summarization of Multimedia Content via Audio-to-Text Alignment [0.0]
本研究は,音声-テキストアライメントによるマルチメディアコンテンツの抽出要約のためのカスケードアーキテクチャを提案する。
Microsoft Azure Speechを使った音声からテキストへの変換と、Whisper、Pegasus、Facebook BART XSumといった高度な抽出要約モデルを統合する。
ROUGEとF1スコアを用いた評価は,従来の要約手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2025-03-06T13:59:14Z) - Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning [0.0]
生成支援型マルチモーダルクエリは入力音声のテキスト記述を生成し、マルチモーダルクエリを可能にする。
我々は,AudioCaps,Clotho,Auto-ACDの実験を行い,現状の成果が得られたことを実証した。
論文 参考訳（メタデータ） (2024-10-14T04:57:32Z) - Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。
具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。
我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
論文 参考訳（メタデータ） (2023-09-20T17:59:32Z) - Audio-text Retrieval in Context [24.38055340045366]
そこで本研究では,音声・テキストのアライメントを改善するために,複数のオーディオ機能とシーケンスアグリゲーション手法について検討する。
我々は,事前学習した音声特徴と記述子に基づくアグリゲーション法を用いた文脈音声テキスト検索システムを構築した。
提案システムでは、リコール、中央値、平均値を含むすべての指標において、双方向音声テキスト検索において顕著な改善が達成されている。
論文 参考訳（メタデータ） (2022-03-25T13:41:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。