論文の概要: Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach

• arxiv url: http://arxiv.org/abs/2409.09009v2
• Date: Tue, 1 Oct 2024 13:06:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 21:09:04.496639
• Title: Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach
• Title（参考訳）: Retrieval-and-Demonstration を用いた直接音声翻訳におけるレアワード精度の最適化
• Authors: Siqi Li, Danni Liu, Jan Niehues,
• Abstract要約: 直接音声翻訳モデルにおいて,稀な単語翻訳精度を高めるための検索・復調手法を提案する。 まず,レアワード翻訳のための検索例を組み込むために,既存のSTモデルを適用した。 次に、適切な例を見つけるために、クロスモーダル(音声から音声へ、音声からテキストへ、テキストからテキストへ)検索装置を開発する。
• 参考スコア（独自算出の注目度）: 25.166206924366527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct speech translation (ST) models often struggle with rare words. Incorrect translation of these words can have severe consequences, impacting translation quality and user trust. While rare word translation is inherently challenging for neural models due to sparse learning signals, real-world scenarios often allow access to translations of past recordings on similar topics. To leverage these valuable resources, we propose a retrieval-and-demonstration approach to enhance rare word translation accuracy in direct ST models. First, we adapt existing ST models to incorporate retrieved examples for rare word translation, which allows the model to benefit from prepended examples, similar to in-context learning. We then develop a cross-modal (speech-to-speech, speech-to-text, text-to-text) retriever to locate suitable examples. We demonstrate that standard ST models can be effectively adapted to leverage examples for rare word translation, improving rare word translation accuracy over the baseline by 17.6% with gold examples and 8.5% with retrieved examples. Moreover, our speech-to-speech retrieval approach outperforms other modalities and exhibits higher robustness to unseen speakers. Our code is publicly available (https://github.com/SiqiLii/Retrieve-and-Demonstration-ST).
• Abstract（参考訳）: 直接音声翻訳(ST)モデルは稀な単語に苦しむことが多い。 これらの単語の誤った翻訳は、翻訳品質とユーザ信頼に影響を与える深刻な結果をもたらす可能性がある。 希少な単語翻訳は、学習信号の希少さによって神経モデルにとって本質的に困難であるが、現実のシナリオでは、しばしば同様のトピックに関する過去の記録の翻訳へのアクセスが可能である。 これらの貴重な資源を活用するため、直接STモデルにおいて希少な単語翻訳精度を高めるための検索・復調手法を提案する。 まず,既存のSTモデルにレアワード翻訳の例を組み込むことで,テキスト内学習と同様の事前サンプルの恩恵を受けることができる。 次に、適切な例を見つけるために、クロスモーダル(音声から音声へ、音声からテキストへ、テキストからテキストへ)検索装置を開発する。 本研究は, 標準STモデルを用いてレアワード翻訳の例を効果的に適用し, ベースライン上でのレアワード翻訳精度を17.6%向上し, 金の例では8.5%, 検索例では8.5%向上できることを示した。 さらに,音声音声検索手法は,他のモダリティよりも優れ,目に見えない話者に対して高いロバスト性を示す。 私たちのコードは公開されています(https://github.com/SiqiLii/Retrieve-and-Demonstration-ST)。

関連論文リスト

• Improving Neural Biasing for Contextual Speech Recognition by Early Context Injection and Text Perturbation [27.057810339120664]
  文脈認識型ASRモデルを改善するための2つの手法を提案する。 LibriSpeechでは, バイアスや浅い融合に比べて, 単語誤り率を60%, 25%削減する。 SPGISpeechと実世界のデータセットConECでは、ベースラインよりも優れた改善が得られます。
  論文  参考訳（メタデータ） (2024-07-14T19:32:33Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation [59.91139600152296]
  ParaAMRは、抽象的な表現のバックトランスレーションによって生成される、大規模な構文的に多様なパラフレーズデータセットである。 そこで本研究では,ParaAMRを用いて文の埋め込み学習,構文的に制御されたパラフレーズ生成,数ショット学習のためのデータ拡張という,3つのNLPタスクを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T02:27:33Z)
• Back Translation for Speech-to-text Translation Without Transcripts [11.13240570688547]
  単言語対象データから擬似STデータを合成するためのST(BT4ST)の逆変換アルゴリズムを開発した。 短時間から長期にわたる生成と一対一のマッピングによる課題を解消するため,自己管理型離散単位を導入した。 合成STデータを用いて、MuST-C En-De、En-Fr、En-Esデータセット上で平均2.3BLEUを達成する。
  論文  参考訳（メタデータ） (2023-05-15T15:12:40Z)
• Robust Acoustic and Semantic Contextual Biasing in Neural Transducers for Speech Recognition [14.744220870243932]
  そこで本稿では,文脈バイアスを改善するために,軽量な文字表現を用いて微粒な発音特徴を符号化することを提案する。 さらに、事前学習されたニューラルネットワークモデル(NLM)をベースとしたエンコーダを統合し、発話の意味的文脈を符号化する。 Librispeechデータセット上のConformer Transducerモデルを用いた実験では、異なるバイアスリストサイズに対するWERの相対的な改善が4.62%から9.26%である。
  論文  参考訳（メタデータ） (2023-05-09T08:51:44Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)
• Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation [5.480070710278571]
  文の単純化による自動前処理(APP)によるブラックボックス機械翻訳システムの改善手法を提案する。 まず,ブラックボックスMTシステムによるバックトランスレーションにより,大規模なドメイン内パラフレーズコーパスを自動生成する手法を提案する。 この前処理によって、非前処理のソース文と比較して翻訳性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-22T14:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。