Fugu-MT 論文翻訳(概要): Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation

論文の概要: Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation

arxiv url: http://arxiv.org/abs/2404.04212v1
Date: Fri, 5 Apr 2024 16:42:28 GMT
ステータス: 処理完了
システム内更新日: 2024-04-08 15:35:54.846471
Title: Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation
Title（参考訳）: 低リソース言語翻訳のためのアンロックパラメータ効率の良いファインチューニング
Authors: Tong Su, Xin Peng, Sarubi Thillainathan, David Guzmán, Surangika Ranathunga, En-Shiun Annie Lee,
Abstract要約: SacreBLEUスコアを用いて,合計15のアーキテクチャを用いた8 PEFT法の性能評価を行った。その結果、6つのPEFTアーキテクチャがドメイン内テストとドメイン外テストの両方のベースラインを上回っていることがわかった。 Houlsby+Inversionアダプタは、PEFT法の有効性を証明し、全体として最高の性能を持つ。
参考スコア（独自算出の注目度）: 3.558269947618352
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Parameter-efficient fine-tuning (PEFT) methods are increasingly vital in adapting large-scale pre-trained language models for diverse tasks, offering a balance between adaptability and computational efficiency. They are important in Low-Resource Language (LRL) Neural Machine Translation (NMT) to enhance translation accuracy with minimal resources. However, their practical effectiveness varies significantly across different languages. We conducted comprehensive empirical experiments with varying LRL domains and sizes to evaluate the performance of 8 PEFT methods with in total of 15 architectures using the SacreBLEU score. We showed that 6 PEFT architectures outperform the baseline for both in-domain and out-domain tests and the Houlsby+Inversion adapter has the best performance overall, proving the effectiveness of PEFT methods.
Abstract（参考訳）: パラメータ効率細調整(PEFT)法は、様々なタスクに大規模に事前訓練された言語モデルを適用する上で、適応性と計算効率のバランスをとるためにますます重要になっている。低リソース言語(LRL)ニューラルマシン翻訳(NMT)において、最小限のリソースで翻訳精度を向上させるために重要である。しかし、その実践的効果は言語によって大きく異なる。各種LRLドメインとサイズを用いて総合的な実験を行い,SacreBLEUスコアを用いて8 PEFT法の性能評価を行った。 6 のPEFTアーキテクチャがドメイン内テストとドメイン外テストの両方のベースラインを上回り、Houlsby+Inversion アダプタがPEFT 手法の有効性を証明し、全体として最高の性能を示した。

関連論文リスト

Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文参考訳（メタデータ） (2024-11-05T12:26:25Z)
Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models [19.163639128631534]
Importance-Aware Sparse Tuning (IST) は、様々なPEFTメソッドと互換性があり、層ごとに動作する。 ISTはPEFTモジュールで選択したレイヤを動的に更新し、メモリ要求を減らした。
論文参考訳（メタデータ） (2024-10-15T16:53:26Z)
Leveraging Parameter Efficient Training Methods for Low Resource Text Classification: A Case Study in Marathi [0.4194295877935868]
Indic low-resource language Marathi のPEFT法について検討する。これらのアプローチは、MahaSent、MahaHate、MahaNewsといった著名なテキスト分類データセットに基づいて評価される。これらの手法は完全微調整と競合し,精度を損なうことなく使用できることを示す。
論文参考訳（メタデータ） (2024-08-06T13:16:16Z)
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models [1.2263658159556594]
フル微調整は、Transformerベースのトレーニング済みの大規模言語モデルを特定の下流タスクに適応するための一般的なアプローチである。本研究では,多種多様な言語知識の局所化に基づくSPAFIT(Stratified Progressive Adaptation Fine-tuning)を提案する。 GLUEベンチマークの9つのタスクを用いて実験を行い,提案手法が他のPEFT法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-04-30T21:07:32Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
Parameter-Efficient Transfer Learning for Remote Sensing Image-Text Retrieval [10.84733740863356]
本研究では,画像テキスト検索タスクにおいて,自然領域から RS 領域に視覚言語知識を伝達するためのパラメータ効率変換学習(PETL)手法について検討する。提案モデルでは0.16万のトレーニングパラメータしか含まないため,完全微調整に比べて98.9%のパラメータ削減が可能である。検索性能は従来の手法を7～13%超え,完全微調整よりも高い性能を達成している。
論文参考訳（メタデータ） (2023-08-24T02:43:53Z)
Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
論文参考訳（メタデータ） (2023-05-31T21:58:07Z)
Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
論文参考訳（メタデータ） (2023-05-18T22:02:59Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文参考訳（メタデータ） (2021-09-09T03:48:35Z)
Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
論文参考訳（メタデータ） (2021-04-15T17:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。