論文の概要: SemiAdapt and SemiLoRA: Efficient Domain Adaptation for Transformer-based Low-Resource Language Translation with a Case Study on Irish

• arxiv url: http://arxiv.org/abs/2510.18725v1
• Date: Tue, 21 Oct 2025 15:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.825182
• Title: SemiAdapt and SemiLoRA: Efficient Domain Adaptation for Transformer-based Low-Resource Language Translation with a Case Study on Irish
• Title（参考訳）: SemiAdapt and SemiLoRA: Transformer-based Low-Resource Language Translation のための効率的なドメイン適応 : アイルランド語を事例として
• Authors: Josh McGiff, Nikola S. Nikolov,
• Abstract要約: 微細チューニングは、ニューラルマシン翻訳(NMT)のような特定のタスクのために、大きな言語モデルを調整するために広く使用されている。 モデルパラメータのごく一部をトレーニングすることでギャップを埋める半効率微調整(PEFT)を導入する。 我々は,SemiAdaptがフルドメインファインチューニングより優れていることを示す一方,SemiLoRAはPEFTメソッドをプロペラしてフルモデルファインチューニングより優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.3437656066916039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is widely used to tailor large language models for specific tasks such as neural machine translation (NMT). However, leveraging transfer learning is computationally expensive when fine-tuning large multilingual models with billions of parameters, thus creating a barrier to entry for researchers working on low-resource domains such as Irish translation. Parameter-efficient fine-tuning (PEFT) bridges this gap by training on a fraction of the original model parameters, with the Low-Rank Adaptation (LoRA) approach introducing small, trainable adapter layers. We introduce SemiAdapt and SemiLoRA as semi-supervised inference-efficient approaches that strengthen domain adaptation and lead to improved overall performance in NMT. We demonstrate that SemiAdapt can outperform full-domain fine-tuning, while most notably, SemiLoRA can propel PEFT methods to match or even outperform full-model fine-tuning. We further evaluate domain-by-dataset fine-tuning and demonstrate that our embedding-based inference methods perform especially well on larger and noisier corpora. All Irish translation models developed in this work are released as open resources. These methods aim to make high-quality domain adaptation and fine-tuning more accessible to researchers working with low-resource languages.
• Abstract（参考訳）: 微細チューニングは、ニューラルマシン翻訳(NMT)のような特定のタスクのために、大きな言語モデルをカスタマイズするために広く使われている。 しかし、数十億のパラメータを持つ大規模な多言語モデルを微調整する場合には、転送学習の活用は計算コストがかかるため、アイルランド語翻訳のような低リソース領域に取り組む研究者にとって、参入障壁となる。 パラメータ効率のよい微調整(PEFT)は、小さな、トレーニング可能なアダプタ層を導入したローランド適応(LoRA)アプローチで、オリジナルのモデルのパラメータのごく一部をトレーニングすることで、このギャップを埋める。 半教師付き推論効率のアプローチとしてSemiAdaptとSemiLoRAを導入し、ドメイン適応を強化し、NTTの全体的な性能を向上させる。 我々は,SemiAdaptがフルドメインファインチューニングより優れていることを示す一方,SemiLoRAはPEFTメソッドをプロペラしてフルモデルファインチューニングより優れていることを示す。 さらに、ドメイン・バイ・データセットの微調整を評価し、埋め込み型推論手法が大規模でノイズの多いコーパスで特に優れていることを示す。 この研究で開発されたすべてのアイルランド語翻訳モデルは、オープンリソースとしてリリースされている。 これらの手法は、高品質なドメイン適応と微調整を、低リソース言語を扱う研究者がより容易に行えるようにすることを目的としている。

関連論文リスト

• Beyond Vanilla Fine-Tuning: Leveraging Multistage, Multilingual, and Domain-Specific Methods for Low-Resource Machine Translation [1.9639956888747314]
  本稿では,大規模言語モデル(msLLM)の適応のための2つのアプローチを提案することによって,人工知能に寄与する。 工学的な応用として、これらの手法は、ドメイン固有の極低リソース設定において、シンハラ、タミル、英語(6つの言語対)のNTTシステムで実装される。 実験の結果,これらの手法は,標準の単一段階微調整ベースラインに比べて平均+1.47バイリンガル評価アンダースタディ(BLEU)スコアで翻訳性能を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-28T16:30:28Z)
• Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis [0.0]
  オープンソースの自己回帰型デコーダ専用大言語モデル(LLM)のドメイン固有翻訳性能とタスク指向機械翻訳(MT)モデルとの比較を行った。 実験では,医療領域に焦点をあて,資源利用率の異なる4つの言語方向をカバーした。
  論文  参考訳（メタデータ） (2024-12-08T08:54:13Z)
• How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario [72.02391485962127]
  音声認識(ASR)における音声自己監視学習(SSL)モデルの性能向上 低リソース言語 ASR では、事前訓練された言語と低リソース言語のドメインミスマッチ問題に遭遇する。 これらの問題に対処するためのアダプタに基づく従来型の効率的な微調整手法を拡張した。
  論文  参考訳（メタデータ） (2024-11-27T10:51:00Z)
• Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
  大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。 我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。 本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T16:15:04Z)
• Leveraging Parameter Efficient Training Methods for Low Resource Text Classification: A Case Study in Marathi [0.4194295877935868]
  Indic low-resource language Marathi のPEFT法について検討する。 これらのアプローチは、MahaSent、MahaHate、MahaNewsといった著名なテキスト分類データセットに基づいて評価される。 これらの手法は完全微調整と競合し,精度を損なうことなく使用できることを示す。
  論文  参考訳（メタデータ） (2024-08-06T13:16:16Z)
• Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation [3.558269947618352]
  SacreBLEUスコアを用いて,合計15のアーキテクチャを用いた8 PEFT法の性能評価を行った。 その結果、6つのPEFTアーキテクチャがドメイン内テストとドメイン外テストの両方のベースラインを上回っていることがわかった。 Houlsby+Inversionアダプタは、PEFT法の有効性を証明し、全体として最高の性能を持つ。
  論文  参考訳（メタデータ） (2024-04-05T16:42:28Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。