Fugu-MT 論文翻訳(概要): On Knowledge Distillation for Direct Speech Translation

論文の概要: On Knowledge Distillation for Direct Speech Translation

arxiv url: http://arxiv.org/abs/2012.04964v1
Date: Wed, 9 Dec 2020 10:33:13 GMT
ステータス: 処理完了
システム内更新日: 2021-05-16 10:01:53.561790
Title: On Knowledge Distillation for Direct Speech Translation
Title（参考訳）: 直接音声翻訳のための知識蒸留について
Authors: Marco Gaido, Mattia A. Di Gangi, Matteo Negri, Marco Turchi
Abstract要約: 自動音声認識(ASR)と機械翻訳(MT):直接音声翻訳(ST)は、そのサブタスクから知識の転送を必要とする複雑なタスクであることが示されています。
参考スコア（独自算出の注目度）: 13.09008189764412
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Direct speech translation (ST) has shown to be a complex task requiring knowledge transfer from its sub-tasks: automatic speech recognition (ASR) and machine translation (MT). For MT, one of the most promising techniques to transfer knowledge is knowledge distillation. In this paper, we compare the different solutions to distill knowledge in a sequence-to-sequence task like ST. Moreover, we analyze eventual drawbacks of this approach and how to alleviate them maintaining the benefits in terms of translation quality.
Abstract（参考訳）: 直接音声翻訳(ST)は、自動音声認識(ASR)と機械翻訳(MT)というサブタスクからの知識伝達を必要とする複雑なタスクであることが示されている。 MTにとって、知識を伝達する最も有望な手法の1つは知識蒸留である。本稿では,stのようなシーケンスからシーケンスへのタスクにおいて,異なる解を蒸留知識と比較する。さらに,本手法の問題点と,翻訳品質の面での便益の維持を緩和する方法について分析した。

関連論文リスト

MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-14T16:07:39Z)
Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
論文参考訳（メタデータ） (2023-11-27T08:38:42Z)
Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
異なる時間とモジュールを考慮したタスク間の整合性について検討する。テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
論文参考訳（メタデータ） (2023-11-07T08:48:46Z)
Propagating Knowledge Updates to LMs Through Distillation [97.3628651636153]
文脈に基づくアプローチは、エンティティに関する知識を付与し、その知識を広めてより広範な推論を可能にすることができることを示す。実験により,本手法は,微調整や他の勾配に基づく知識編集手法よりも,知識更新の伝播に有効であることが実証された。
論文参考訳（メタデータ） (2023-06-15T17:39:50Z)
Decouple Non-parametric Knowledge Distillation For End-to-end Speech Translation [5.973321003365441]
データの観点から非パラメトリックな知識蒸留(DNKD)を提案する。本手法は, 知識蒸留のパラダイムに従っているが, 高度MTモデルから教師分布を得る代わりに, 非ナーレスデータストアから構築する。 MuST-Cコーパスの実験により,本手法は転写を必要とせず,強いベースラインに対して一貫した改善を達成できることが示されている。
論文参考訳（メタデータ） (2023-04-20T13:20:03Z)
On Neural Consolidation for Transfer in Reinforcement Learning [4.129225533930966]
本稿では, ネットワーク蒸留を特徴抽出法として活用し, 伝達のコンテキストをよりよく理解する。蒸留では,複数タスクから新しいタスクへの移動を含む知識伝達が防止されないことを示す。
論文参考訳（メタデータ） (2022-10-05T13:18:47Z)
Improving Speech Translation by Understanding and Learning from the Auxiliary Text Translation Task [26.703809355057224]
我々は,タスクがマルチタスク学習フレームワークにおけるメインタスクに与える影響を理解するために,詳細な分析を行う。解析により、マルチタスク学習は、異なるモダリティから同様のデコーダ表現を生成する傾向があることを確認した。これらの知見に触発されて,翻訳品質を向上させる3つの方法を提案する。
論文参考訳（メタデータ） (2021-07-12T23:53:40Z)
Knowledge Distillation for Improved Accuracy in Spoken Question Answering [63.72278693825945]
我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。我々の研究は、言語モデルから知識の抽出を監督信号として進めている。実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-21T15:18:01Z)
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering [63.72278693825945]
音声対話型質問応答 (SCQA) は複雑な対話の流れをモデル化するために機械を必要とする。本稿では,新しい文脈型注意型蒸留手法CADNetを提案する。 Spoken-CoQAデータセット上で広範な実験を行い、本手法が優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2020-10-21T15:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。