Fugu-MT 論文翻訳(概要): Improved Long-Form Spoken Language Translation with Large Language Models

論文の概要: Improved Long-Form Spoken Language Translation with Large Language Models

arxiv url: http://arxiv.org/abs/2212.09895v1
Date: Mon, 19 Dec 2022 22:36:53 GMT
ステータス: 処理完了
システム内更新日: 2022-12-21 15:03:19.915450
Title: Improved Long-Form Spoken Language Translation with Large Language Models
Title（参考訳）: 大規模言語モデルによる長文音声翻訳の改善
Authors: Arya D. McCarthy, Hao Zhang, Shankar Kumar, Felix Stahlberg, Axel H. Ng
Abstract要約: 我々は、ASRの長い書き起こしを独立に翻訳できるセグメントに分割するために、汎用で大規模な言語モデルを微調整する。提案手法は,3言語におけるBLEUスコアを,自動句読点よりも平均2.7BLEUで改善する。
参考スコア（独自算出の注目度）: 15.792204200145251
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: A challenge in spoken language translation is that plenty of spoken content is long-form, but short units are necessary for obtaining high-quality translations. To address this mismatch, we fine-tune a general-purpose, large language model to split long ASR transcripts into segments that can be independently translated so as to maximize the overall translation quality. We compare to several segmentation strategies and find that our approach improves BLEU score on three languages by an average of 2.7 BLEU overall compared to an automatic punctuation baseline. Further, we demonstrate the effectiveness of two constrained decoding strategies to improve well-formedness of the model output from above 99% to 100%.
Abstract（参考訳）: 音声翻訳における課題は、多くの音声コンテンツが長文であるが、高品質翻訳を得るためには短い単位が必要であることである。このミスマッチに対処するため、我々は汎用の大規模言語モデルを微調整し、長いASR文字を独立に翻訳可能なセグメントに分割し、全体的な翻訳品質を最大化する。いくつかのセグメンテーション戦略と比較し、我々の手法は自動句読点よりも平均2.7 BLEUで3つの言語でのBLEUスコアを改善する。さらに,2つの制約付き復号手法の有効性を実証し,モデルの出力が99%以上から100%に向上することを示した。

関連論文リスト

Multilingual De-Duplication Strategies: Applying scalable similarity search with monolingual & multilingual embedding models [0.0]
本稿では,高度NLPツールを用いた多言語テキストデータの重複解消について述べる。我々は、mpnetと多言語埋め込みモデル(distiluse)を併用し、英語への翻訳を含む2段階の手法の比較を行った。
論文参考訳（メタデータ） (2024-06-19T16:48:14Z)
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
Long-Form Speech Translation through Segmentation with Finite-State Decoding Constraints on Large Language Models [25.618862664337644]
大規模言語モデル(LLM)は、独立した翻訳が可能なセグメントに分割するために適応される。 LLMは、プロンプトチューニングや微調整によって、ASRエラーを含む書き起こしに適応できる。最先端の自動句読解ベースラインとは対照的に、我々の最高のLLMは、英語-ドイツ語、英語-スペイン語、英語-アラビア語のTEDトーク翻訳を9つのテストセットで平均BLEUを2.9ポイント改善する。
論文参考訳（メタデータ） (2023-10-20T17:31:39Z)
Geographical Distance Is The New Hyperparameter: A Case Study Of Finding The Optimal Pre-trained Language For English-isiZulu Machine Translation [0.0]
本研究は,英語訳フレームワークにおける翻訳学習の潜在的なメリットについて考察する。 1つの多言語コーパスを含む8つの言語コーパスから得られた結果から,isiXa-isiZuluがすべての言語より優れた結果を得た。我々はまた,事前学習されたモデルに対する言語選択を容易にする新しい係数である,Nasir's Geographical Distance Coefficient (NGDC) も導出した。
論文参考訳（メタデータ） (2022-05-17T20:41:25Z)
Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文参考訳（メタデータ） (2021-09-10T10:52:21Z)
Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文参考訳（メタデータ） (2021-09-09T03:48:35Z)
Adapt-and-Adjust: Overcoming the Long-Tail Problem of Multilingual Speech Recognition [58.849768879796905]
エンドツーエンドの多言語音声認識のためのトランスフォーマーベースマルチタスク学習フレームワークであるAdapt-and-Adjust (A2)を提案する。 A2フレームワークは,(1) 訓練済み多言語言語モデル (mBERT) を利用して低リソース言語の性能を向上させる,(2) 言語固有の適応と言語に依存しない2つのアダプタを最小限の追加パラメータで提案する,(3) クラス不均衡を克服する,という3つの手法で解決する。
論文参考訳（メタデータ） (2020-12-03T03:46:16Z)
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文参考訳（メタデータ） (2020-10-27T13:12:17Z)
Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。