論文の概要: NSL-MT: Linguistically Informed Negative Samples for Efficient Machine Translation in Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2511.09537v1
• Date: Thu, 13 Nov 2025 02:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.613053
• Title: NSL-MT: Linguistically Informed Negative Samples for Efficient Machine Translation in Low-Resource Languages
• Title（参考訳）: NSL-MT:低リソース言語における効率的な機械翻訳のための言語的にインフォームされた負のサンプル
• Authors: Mamadou K. Keita, Christopher Homan, Huy Le,
• Abstract要約: 負の空間学習 MT は、言語制約を損失関数の重み付けされたペナルティとして符号化することによって生成すべきでないことをモデルに教える。 NSL-MTは、ターゲット言語の文法を合成的に生成した違反によって制限された並列データを増やし、これらの言語的に無効な出力に高い確率を割り当てると、モデルを明示的にペナルティ化する。
• 参考スコア（独自算出の注目度）: 7.178807883725661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Negative Space Learning MT (NSL-MT), a training method that teaches models what not to generate by encoding linguistic constraints as severity-weighted penalties in the loss function. NSL-MT increases limited parallel data with synthetically generated violations of target language grammar, explicitly penalizing the model when it assigns high probability to these linguistically invalid outputs. We demonstrate that NSL-MT delivers improvements across all architectures: 3-12\% BLEU gains for well-performing models and 56-89\% gains for models lacking descent initial support. Furthermore, NSL-MT provides a 5x data efficiency multiplier -- training with 1,000 examples matches or exceeds normal training with 5,000 examples. Thus, NSL-MT provides a data-efficient alternative training method for settings where there is limited annotated parallel corporas.
• Abstract（参考訳）: NSL-MT(Negative Space Learning MT)は、言語制約を損失関数の重み付けされたペナルティとして符号化することで、生成しないことをモデルに教える訓練手法である。 NSL-MTは、ターゲット言語文法を合成的に生成した違反によって制限された並列データを増やし、これらの言語的に無効な出力に高い確率を割り当てると、モデルを明示的にペナルティ化する。 我々はNSL-MTが全てのアーキテクチャに改善をもたらすことを実証した: BLEU は優れた性能のモデルに対して 312 % 、降下初期サポートを欠いたモデルでは 56-89 % である。 さらに、NSL-MTは、データ効率の5倍の乗算器を提供する。 したがって、NSL-MTは、アノテーション付き並列コーパスに制限がある場合に、データ効率のよい代替トレーニング手法を提供する。

関連論文リスト

• Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation [49.82863380286994]
  In-context Learningは、低リソース機械翻訳にLarge Language Modelsを適用する新しい方法を提供するかもしれない。 本研究では,Long-context モデルを用いた数千例のサンプルに対して,数ショット設定以上の低リソース機械翻訳ICLのスケーリングについて検討する。 JavaneseとSundaneseに関する我々の実験は、追加のコンテキストからのゲインがすばやく飽和し、最大コンテキストウィンドウの近くで分解可能であることを示している。
  論文  参考訳（メタデータ） (2026-02-04T17:02:22Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages [2.53740603524637]
  機械翻訳モデル(MT)は優れた多言語表現を生成し、低リソース言語でも強力な翻訳性能が得られる。 本研究は,MTエンコーダをサンプル効率のよい自己蒸留法により,言語バックボーンに直接組み込むことにより,両世界のベストを得られる。 MT-LLMは、MTエンコーダから固有の多言語表現アライメントを保持しており、低リソース言語は英語中心のLLMに埋め込まれた豊富な知識を取り入れることができる。
  論文  参考訳（メタデータ） (2024-06-18T16:00:20Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Integrating Pre-trained Language Model into Neural Machine Translation [0.0]
  高品質なバイリンガル言語ペアデータの欠如は、NMTの性能向上に大きな課題をもたらす。 近年,この問題を解決するために,事前学習言語モデル(PLM)の文脈情報の利用が検討されている。 本研究では PLM 統合 NMT モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-30T16:00:13Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。