論文の概要: Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

• arxiv url: http://arxiv.org/abs/2609.28395v1
• Date: Wed, 23 Sep 2026 17:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.128988
• Title: Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
• Title（参考訳）: 翻訳用微調整LDM:MT-Specific Instruction後保存しない一般予測
• Abstract要約: 並列データ上の微調整された大きな言語モデルは、翻訳品質を向上させるが、破滅的な忘れを生じさせる可能性がある。 これらの知見が機械翻訳(MT)微細チューニングとMT-IF(MT-IF)に移行するかどうかを問う。 まず、Llama 3.2 1Bインストラクタを用いて、次にLlama 3.1 8Bインストラクタを用いて、アラビア語とスペイン語の双方向データに基づいて微調整を行う。
• 参考スコア（独自算出の注目度）: 15.970601737505058
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fine-tuning large language models on parallel data improves translation quality but can cause catastrophic forgetting. Mitigation methods are generally evaluated by retention on general benchmarks. We ask whether these findings transfer to machine translation (MT) fine-tuning and to MT-specific instruction following (MT-IF): instructions that modify a translation, such as formality, grammatical gender, and length control. We compare methods anchored to auxiliary data, to model outputs, and to the base model parameters, first in a screening study with Llama 3.2 1B Instruct, then on Llama 3.1 8B Instruct fine-tuned on bidirectional Arabic-English or Spanish-English data. Elastic Weight Consolidation preserves general capabilities best in both stages; on the 8B Spanish model the average score on general benchmarks drops 1.7 points versus 11.0 for standard fine-tuning, yet its scores for formality and grammatical gender control remain close to standard fine-tuning. Only data mixing with control-task examples preserves these controls, but its gains do not transfer to unseen prompts for the same task.
• Abstract（参考訳）: 並列データ上の微調整された大きな言語モデルは、翻訳品質を向上させるが、破滅的な忘れを生じさせる可能性がある。 緩和法は一般に一般的なベンチマークの保持によって評価される。 これらの結果が機械翻訳 (MT) や MT-IF (MT-IF) に伝達されるかどうかを問う。 まず、Llama 3.2 1Bインストラクタを用いて、次にLlama 3.1 8Bインストラクタを用いて、アラビア語とスペイン語の双方向データに基づいて微調整を行う。 8Bのスペインモデルでは、一般的なベンチマークの平均スコアは1.7ポイント対11.0で、標準的な微調整では1.7ポイント減少するが、定式化と文法的な性別制御のスコアは標準的な微調整に近いままである。 コントロールタスクの例とデータミキシングだけがこれらのコントロールを保存するが、そのゲインは同じタスクの見当たらないプロンプトに転送されない。

関連論文リスト

• Generating Adversarial Texts for Machine Translation via GRPO [9.016860740260679]
  既存のテキストの書き直しに拡張性のある強化学習に基づくアプローチを提案する。 WMT25では,文法と可読性を保ちながら,平均COMET翻訳品質を0.63から0.48に大幅に低下させる。 未確認のWMT19-WMT24ベンチマークの評価により、この挙動がトレーニングデータを超えて一般化されることが確認された。
  論文  参考訳（メタデータ） (2026-09-05T12:06:59Z)
• Improving LLMs for Machine Translation Using Synthetic Preference Data [0.0]
  比較的少ないデータ資源を用いて,機械翻訳において汎用的な命令をいかに改善できるかを考察する。 Slovene大言語モデルを用いて、優先度最適化(DPO)を用いたGaMSBインストラクトモデルを改善する。 我々は2つのLLM、GaMSBInstructとEuroLLM-9BInstructを使って、英語のウィキペディア記事を翻訳することでトレーニングを作成した。 ベースラインモデルと比較して、微調整されたモデルは、ウィキペディアの記事の翻訳でCOMETのスコアが0.04と0.02に達した。
  論文  参考訳（メタデータ） (2025-08-20T14:24:16Z)
• Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
  Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。 その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
  論文  参考訳（メタデータ） (2025-02-28T07:24:33Z)
• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.777372498182864]
  生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-20T22:53:15Z)
• When Does Monolingual Data Help Multilingual Translation: The Role of Domain and Model Scale [73.69252847606212]
  自動符号化(DAE)と逆翻訳(BT)が機械翻訳(MMT)に与える影響について検討する。 モノリンガルデータは一般的にMTMに役立つが、モデルは驚くほどドメインミスマッチ、特により小さなモデルスケールでは不安定である。 スケールが大きくなるにつれて、DAEは並列のみのベースラインを90Mで過小評価することから、BTのパフォーマンスを1.6Bで収束させ、低リソースでそれを上回るものへと移行する。
  論文  参考訳（メタデータ） (2023-05-23T14:48:42Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。