論文の概要: Retrieval-Augmented Speech Recognition Approach for Domain Challenges

• arxiv url: http://arxiv.org/abs/2502.15264v1
• Date: Fri, 21 Feb 2025 07:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 19:42:05.675395
• Title: Retrieval-Augmented Speech Recognition Approach for Domain Challenges
• Title（参考訳）: ドメイン課題に対する検索・拡張音声認識手法
• Authors: Peng Shen, Xugang Lu, Hisashi Kawai,
• Abstract要約: 音声認識システムは、しばしばドメインミスマッチによる課題に直面している。 本稿では,大規模言語モデル (LLM) のためのRAG(Retrieval-Augmented Generation) 技術に着想を得て,LLMに基づく検索拡張音声認識手法を提案する。
• 参考スコア（独自算出の注目度）: 24.337617843696286
• License:
• Abstract: Speech recognition systems often face challenges due to domain mismatch, particularly in real-world applications where domain-specific data is unavailable because of data accessibility and confidentiality constraints. Inspired by Retrieval-Augmented Generation (RAG) techniques for large language models (LLMs), this paper introduces a LLM-based retrieval-augmented speech recognition method that incorporates domain-specific textual data at the inference stage to enhance recognition performance. Rather than relying on domain-specific textual data during the training phase, our model is trained to learn how to utilize textual information provided in prompts for LLM decoder to improve speech recognition performance. Benefiting from the advantages of the RAG retrieval mechanism, our approach efficiently accesses locally available domain-specific documents, ensuring a convenient and effective process for solving domain mismatch problems. Experiments conducted on the CSJ database demonstrate that the proposed method significantly improves speech recognition accuracy and achieves state-of-the-art results on the CSJ dataset, even without relying on the full training data.
• Abstract（参考訳）: 音声認識システムはドメインミスマッチによる問題に直面することが多く、特にデータアクセシビリティと機密性の制約によりドメイン固有のデータが利用できない現実世界のアプリケーションでは問題となる。 本稿では,大規模言語モデル(LLM)のためのRAG(Retrieval-Augmented Generation)技術にインスパイアされたLLMに基づく検索拡張音声認識手法を提案する。 学習段階では,ドメイン固有のテキストデータに頼るのではなく,LLMデコーダが音声認識性能を向上させるためのプロンプトとして提供されるテキスト情報を利用する方法を学ぶように訓練されている。 RAG検索機構の利点を生かして,本手法はローカルに利用可能なドメイン固有文書に効率的にアクセスし,ドメインミスマッチ問題の解決に有用かつ効果的なプロセスを実現する。 CSJデータベース上で行った実験により,提案手法は音声認識の精度を著しく向上し,CSJデータセットの最先端結果が得られることを示した。

関連論文リスト

• Improving Domain-Specific ASR with LLM-Generated Contextual Descriptions [1.3791394805787949]
  アーキテクチャを変更せずに最先端のWhisperを利用する方法を提案する。 また,ドメイン固有のASRを改善するための2つのトレーニング手法を提案する。 提案手法は,実生活データセット上でのドメイン固有ASR精度を顕著に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-25T08:44:04Z)
• LOGO: Video Text Spotting with Language Collaboration and Glyph Perception Model [20.007650672107566]
  ビデオテキストスポッティング(VTS)は、ビデオ内のテキストインスタンスを同時にローカライズ、認識、追跡することを目的としている。 最近の方法では、最先端の画像テキストスポッターのゼロショット結果を直接追跡する。 特定のデータセット上の微調整トランスフォーマーベースのテキストスポッターにより、パフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2024-05-29T15:35:09Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Improved Contextual Recognition In Automatic Speech Recognition Systems By Semantic Lattice Rescoring [4.819085609772069]
  本稿では,意味的格子処理によるASRシステム内における文脈認識の高度化のための新しい手法を提案する。 提案手法は,隠れマルコフモデルとガウス混合モデル(HMM-GMM)とディープニューラルネットワーク(DNN)モデルを用いて,精度を向上する。 本稿では,実験分析によるLibriSpeechデータセット上でのフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-14T23:16:05Z)
• Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation [67.98338382984556]
  音声とテキストの2つのモダリティを共有表現空間にマッピングすることは、テキストのみのデータを用いて、新しいドメインにおけるエンドツーエンドの自動音声認識(ASR)の性能を改善する研究トピックである。 本稿では,テキストのモダリティに合わせるために,ダウンサンプリング音響表現を用いた新しい表現手法を提案する。 我々のASRモデルは、両方のモダリティから統一表現をよりよく学習することができ、ターゲットドメインのテキストのみのデータを用いたドメイン適応を可能にします。
  論文  参考訳（メタデータ） (2023-09-04T08:52:59Z)
• SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge [58.979490858061745]
  セメムに基づくセマンティック知識情報を音声認識に導入する。 実験の結果,セム情報により音声認識の有効性が向上することが示された。 さらに,本実験により,セメム知識が長期データ認識を改善することが確認された。
  論文  参考訳（メタデータ） (2023-09-04T08:35:05Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features [6.872447420442981]
  音声特徴量を用いた音声認識において、教師なし性に基づくドメイン適応を行う手法を提案する。 TIMITデータセット上で実験を行い,提案手法を用いて音素誤り率を著しく低減した。
  論文  参考訳（メタデータ） (2021-08-04T06:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。