Fugu-MT 論文翻訳(概要): PAD: Towards Efficient Data Generation for Transfer Learning Using Phrase Alignment

論文の概要: PAD: Towards Efficient Data Generation for Transfer Learning Using Phrase Alignment

arxiv url: http://arxiv.org/abs/2503.18250v2
Date: Tue, 25 Mar 2025 23:16:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-27 09:39:29.655631
Title: PAD: Towards Efficient Data Generation for Transfer Learning Using Phrase Alignment
Title（参考訳）: PAD: フレーズアライメントを用いた伝達学習のための効率的なデータ生成を目指して
Authors: Jong Myoung Kim, Young-Jun_Lee, Ho-Jin Choi, Sangkeun Jung,
Abstract要約: 本稿では, 韓国語の構文特性とPhrase Aligned Data (PAD) の相乗効果について述べる。この革新的なアプローチは、モデルの性能を向上するだけでなく、リソースを浪費する言語に対するコスト効率の高いソリューションも示唆している。
参考スコア（独自算出の注目度）: 5.0560627648135785
License:
Abstract: Transfer learning leverages the abundance of English data to address the scarcity of resources in modeling non-English languages, such as Korean. In this study, we explore the potential of Phrase Aligned Data (PAD) from standardized Statistical Machine Translation (SMT) to enhance the efficiency of transfer learning. Through extensive experiments, we demonstrate that PAD synergizes effectively with the syntactic characteristics of the Korean language, mitigating the weaknesses of SMT and significantly improving model performance. Moreover, we reveal that PAD complements traditional data construction methods and enhances their effectiveness when combined. This innovative approach not only boosts model performance but also suggests a cost-efficient solution for resource-scarce languages.
Abstract（参考訳）: 移動学習は、韓国語などの非英語言語をモデル化する際の資源不足に対処するために、英語データの豊富さを活用する。本研究では,Phrase Aligned Data(PAD)の標準化された統計機械翻訳(SMT)における可能性を探り,伝達学習の効率化を図る。広範にわたる実験により,PADは韓国語の構文特性と効果的に相乗効果を示し,SMTの弱点を緩和し,モデル性能を大幅に改善することを示した。さらに,PADは従来のデータ構築手法を補完し,組み合わせた場合の有効性を高めることを明らかにする。この革新的なアプローチは、モデルの性能を向上するだけでなく、リソースを浪費する言語に対するコスト効率の高いソリューションも示唆している。

関連論文リスト

MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
論文参考訳（メタデータ） (2024-06-25T11:03:45Z)
ALMol: Aligned Language-Molecule Translation LLMs through Offline Preference Contrastive Optimisation [2.296475290901356]
機械語-分子翻訳に焦点をあて、コントラスト優先最適化と呼ばれる新しい訓練手法を展開する。その結果,我々のモデルでは,他のモデルと比較して最大32%の改善が達成された。
論文参考訳（メタデータ） (2024-05-14T13:59:24Z)
Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching [1.746529892290768]
本研究は、語彙マッチングを用いてBERT機能を高リソース言語から低リソース言語に転送する新しい手法を提案する。我々はシレジア語とカシュビ語で実験を行い、目標言語が最小限の訓練データを持つ場合でもBERTモデルの性能向上のためのアプローチの有効性を実証する。
論文参考訳（メタデータ） (2024-02-22T09:49:26Z)
Improving Polish to English Neural Machine Translation with Transfer Learning: Effects of Data Volume and Language Similarity [2.4674086273775035]
機械翻訳作業におけるデータ量と類似言語の使用が伝達学習に与える影響について検討する。 OPUS-100データセットを用いてポーランド語と英語の翻訳タスクに対してmBARTモデルを微調整する。実験の結果、関連する言語と大量のデータの組み合わせは、関連する言語や大量のデータだけで訓練されたモデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-06-01T13:34:21Z)
Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
論文参考訳（メタデータ） (2023-04-02T15:24:08Z)
A Cohesive Distillation Architecture for Neural Language Models [0.0]
自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
論文参考訳（メタデータ） (2023-01-12T08:01:53Z)
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文参考訳（メタデータ） (2022-04-14T08:16:28Z)
Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
論文参考訳（メタデータ） (2022-01-06T11:00:49Z)
On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
論文参考訳（メタデータ） (2021-06-07T01:55:34Z)
Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
論文参考訳（メタデータ） (2020-12-29T03:18:50Z)
Syntax-aware Data Augmentation for Neural Machine Translation [76.99198797021454]
本稿では,ニューラルマシン翻訳のための新しいデータ拡張戦略を提案する。文中の役割を考慮し,単語選択のための文特異的確率を設定した。提案手法はWMT14の英語-ドイツ語データセットとIWSLT14のドイツ語-英語データセットを用いて評価する。
論文参考訳（メタデータ） (2020-04-29T13:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。