論文の概要: Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder

• arxiv url: http://arxiv.org/abs/2010.13047v3
• Date: Thu, 18 Feb 2021 15:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 04:57:31.332907
• Title: Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
• Title（参考訳）: orthros:デュアルデコーダによる非自己回帰型エンドツーエンド音声翻訳
• Authors: Hirofumi Inaguma, Yosuke Higuchi, Kevin Duh, Tatsuya Kawahara, Shinji Watanabe
• Abstract要約: NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。 後者は、前者から生成される様々な長の候補間のより良い翻訳を選択するために使用され、これは、無視できるオーバーヘッドを持つ大きな長のビームの有効性を劇的に向上させる。 4つのベンチマーク実験により、競合翻訳品質を維持しつつ、推論速度を向上させる手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 64.55176104620848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast inference speed is an important goal towards real-world deployment of speech translation (ST) systems. End-to-end (E2E) models based on the encoder-decoder architecture are more suitable for this goal than traditional cascaded systems, but their effectiveness regarding decoding speed has not been explored so far. Inspired by recent progress in non-autoregressive (NAR) methods in text-based translation, which generates target tokens in parallel by eliminating conditional dependencies, we study the problem of NAR decoding for E2E-ST. We propose a novel NAR E2E-ST framework, Orthros, in which both NAR and autoregressive (AR) decoders are jointly trained on the shared speech encoder. The latter is used for selecting better translation among various length candidates generated from the former, which dramatically improves the effectiveness of a large length beam with negligible overhead. We further investigate effective length prediction methods from speech inputs and the impact of vocabulary sizes. Experiments on four benchmarks show the effectiveness of the proposed method in improving inference speed while maintaining competitive translation quality compared to state-of-the-art AR E2E-ST systems.
• Abstract（参考訳）: 高速推論速度は,音声翻訳(ST)システムの実現に向けた重要な目標である。 エンコーダ・デコーダアーキテクチャに基づくエンド・ツー・エンド(e2e)モデルは従来のカスケードシステムよりもこの目標に適しているが、デコード速度に対する効果は今のところ検討されていない。 e2e-stにおける非自己回帰的(nar)手法の最近の進歩に触発され,条件付き依存性を解消してターゲットトークンを並列に生成した。 NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。 後者は、前者から生成された様々な長さ候補間のより良い翻訳を選択するために使用され、大長さビームの有効性を劇的に改善し、オーバーヘッドが無視できる。 さらに,音声入力からの有効長予測手法と語彙サイズの影響について検討した。 4つのベンチマーク実験により,最新のAR E2E-STシステムと比較して,競合翻訳品質を維持しつつ,推論速度を向上する手法の有効性が示された。

関連論文リスト

• CTC-based Non-autoregressive Textless Speech-to-Speech Translation [38.99922762754443]
  音声から音声への直接翻訳(S2ST)は、優れた翻訳品質を達成しているが、しばしば遅い復号化の課題に直面している。 近年、非自己回帰モデル(NAR)にデコーディングを高速化する研究もあるが、翻訳品質は一般的に自己回帰モデルに大きく遅れている。 本稿では,S2STにおけるCTCに基づくNARモデルの性能について検討する。
  論文  参考訳（メタデータ） (2024-06-11T15:00:33Z)
• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation [36.126810842258706]
  直接音声音声変換(S2ST)は、1つのモデルを用いて、ある言語から別の言語に音声を翻訳する。 言語的および音響的多様性が存在するため、ターゲット音声は複雑な多モーダル分布に従う。 高速かつ高品質なS2STを実現する非自己回帰直接S2STモデルであるDASpeechを提案する。
  論文  参考訳（メタデータ） (2023-10-11T11:39:36Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
  本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。 第1パスデコーダのサブワード予測によりモデル性能を向上させる。 提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:58:28Z)
• E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
  シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。 本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
  論文  参考訳（メタデータ） (2022-05-30T08:25:36Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring [83.32560748324667]
  本稿では,非自己回帰モデルに基づく効率的なエンドツーエンド音声翻訳(E2E-ST)フレームワークについて述べる。 我々は,共有エンコーダ上にNARデコーダと補助的な浅層ARデコーダを備えた,Orthrosと呼ばれる統一NAR E2E-STフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-09T16:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。