論文の概要: DUPAR: Dual-Path Conversational Retrieval via Speech Retriever with Cross-Turn Evidence Caching
- arxiv url: http://arxiv.org/abs/2609.18042v1
- Date: Wed, 16 Sep 2026 02:42:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.614903
- Title: DUPAR: Dual-Path Conversational Retrieval via Speech Retriever with Cross-Turn Evidence Caching
- Title(参考訳): DUPAR:クロス・トゥルン・エビデンス・キャッシングを用いた音声検索によるデュアルパス会話検索
- Abstract要約: DUPARは、相補的な遅い高速パスを持つ対話型検索フレームワークである。
タスク適応型オーディオエンコーダと凍結したBGE-M3テキスト埋め込みを組み合わせて、クロスターンエビデンスキャッシュを検索する。
これはノイズベンチマークで平均 Recall@10 を 0.771 から 0.875 に引き上げ、合成された話し方で全体の Recall@1 を 4.2 ポイント改善する。
- 参考スコア(独自算出の注目度): 10.378003524230538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Voice assistants grounded in external knowledge typically use automatic speech recognition (ASR) to transcribe speech queries before retrieving evidence from textual knowledge bases. This cascade adds latency and propagates recognition errors, whereas direct speech retrieval is vulnerable to cross-modal misalignment. To address these limitations, we propose DUPAR, a conversational retrieval framework with complementary slow and fast paths. The fast path uses a task-adapted audio encoder aligned with frozen BGE-M3 text embeddings to search a cross-turn evidence cache. When cache confidence is insufficient, the slow path fuses full-index retrieval using audio and ASR-transcript embeddings, and the selected evidence refreshes the next-turn evidence cache through one-hop graph expansion. On a domain-specific knowledge base, our trained audio encoder approaches text-retrieval accuracy on clean speech with a 3.75$\times$ query-side speedup over ASR + Text Encoder. It raises average Recall@10 from 0.771 to 0.875 on the noise benchmark and improves overall Recall@1 by 4.2 percentage points across synthesized speaking styles. Compared with full-index audio retrieval, cross-turn evidence caching significantly reduces retrieval errors when the previous turn retrieves correct evidence and the follow-up targets a one-hop neighboring chunk.
- Abstract(参考訳): 外部知識に根ざした音声アシスタントは通常、テキスト知識ベースから証拠を取得する前に、自動音声認識(ASR)を使用して音声クエリを転写する。
このカスケードは遅延を増し、認識誤りを伝播するが、直接音声検索はモーダルな誤認識に対して脆弱である。
これらの制約に対処するために,補完的な遅い高速経路を持つ対話型検索フレームワークであるDUPARを提案する。
高速パスは、クロスターンエビデンスキャッシュを検索するために、凍ったBGE-M3テキスト埋め込みに合わせたタスク適応オーディオエンコーダを使用する。
キャッシュの信頼性が不十分な場合、遅いパスはオーディオとASR-トランスクリプトの埋め込みを使用してフルインデックス検索を融合し、選択されたエビデンスによって1ホップグラフ拡張によって次のターンエビデンスキャッシュが更新される。
ドメイン固有の知識ベースで、トレーニングされたオーディオエンコーダは、ASR+テキストエンコーダよりも3.75$\times$クエリサイドのスピードアップで、クリーン音声のテキスト検索精度にアプローチする。
これはノイズベンチマークで平均 Recall@10 を 0.771 から 0.875 に引き上げ、合成された話し方で全体の Recall@1 を 4.2 ポイント改善する。
フルインデックス音声検索と比較して、クロスターンエビデンスキャッシングは、前のターンが正しいエビデンスを検索し、フォローアップが1ホップの隣接チャンクを目標とする場合に、検索エラーを著しく低減する。
関連論文リスト
- VoiceLongMemEval: Do Assistants Remember How You Sounded? [2.3577368017815696]
現在のベンチマークでは、この対話履歴を、長い地平線上の情報検索、時間的推論、知識更新として評価している。
我々はVoiceLongMemEvalベンチマークを示し、すべての回答は会話のターンに付随するパラ言語的メタデータに依存する。
論文 参考訳(メタデータ) (2026-09-01T02:06:10Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳(メタデータ) (2026-06-07T07:15:34Z) - SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。
既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。
我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
論文 参考訳(メタデータ) (2026-02-06T09:14:07Z) - Speech Retrieval-Augmented Generation without Automatic Speech Recognition [4.731446054087683]
SpeechRAGは、音声データに対するオープンクエスト応答のために設計された新しいフレームワークである。
提案手法は,事前学習した音声エンコーダを,凍結した大言語モデルに入力した音声アダプタに微調整する。
テキストと音声の埋め込み空間を整列させることで、音声検索者はテキストベースのクエリから音声を直接検索する。
論文 参考訳(メタデータ) (2024-12-21T06:16:04Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳(メタデータ) (2023-04-06T22:16:53Z) - Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired
Speech Data [145.95460945321253]
本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。
提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
論文 参考訳(メタデータ) (2022-03-31T15:33:56Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳(メタデータ) (2021-10-11T00:08:48Z) - Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。
本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文 参考訳(メタデータ) (2020-01-30T18:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。