論文の概要: Modular Monolingual Adaptation using Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2606.06738v1
• Date: Thu, 04 Jun 2026 21:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.457747
• Title: Modular Monolingual Adaptation using Pretrained Language Models
• Title（参考訳）: 事前学習型言語モデルを用いたモジュール型単言語適応
• Authors: Nalin Kumar, Ondřej Dušek,
• Abstract要約: 低リソース言語のためのモノリンガル言語モデル (LM) の構築は、典型的には、対象言語上のモデル全体を微調整することによって、事前訓練された言語モデル (PLM) を適用することに依存する。 具体的には、トークンを置き換え、対応する埋め込みを凍結し、残りのモデルをチューニングする。
• 参考スコア（独自算出の注目度）: 1.7188280334580195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building monolingual language models (LMs) for low-resource languages typically relies on adapting pretrained language models (PLMs) by finetuning the whole model on the target language. This approach is widely favored over training from scratch, as it enables effective knowledge transfer. Additionally, prior work has shown that using a language-specific tokenizer can enhance the adaptability. In this work, we hypothesize that full model tuning is often unnecessary and propose a more modular approach. Specifically, we replace the tokens, freeze the corresponding embeddings, and tune the rest of the model. We use Scottish Gaelic, Irish, and Quechua for our experiments, with Quechua being a very low-resource language (8.5k training instances). Evaluation on natural language understanding (NLU) tasks -- mask filling, NER, and POS -- shows that our proposed approach improves performance when adapting models to low-resource languages. Additionally, we provide a comprehensive analysis of the effectiveness of training strategies, the choice of pretrained embeddings, and models.
• Abstract（参考訳）: 低リソース言語のためのモノリンガル言語モデル (LM) の構築は、典型的には、対象言語上のモデル全体を微調整することによって、事前訓練された言語モデル (PLM) を適用することに依存する。 このアプローチは、効果的な知識伝達を可能にするため、スクラッチからのトレーニングよりも広く好まれる。 さらに、以前の研究は、言語固有のトークン化ツールを使用することで、適応性を高めることを示した。 この研究では、フルモデルチューニングがしばしば不要であると仮定し、よりモジュラーなアプローチを提案する。 具体的には、トークンを置き換え、対応する埋め込みを凍結し、残りのモデルをチューニングします。 実験にはスコティッシュ・ゲール語、アイルランド語、ケチュア語を使用します。 自然言語理解(NLU)タスク(マスクフィリング、NER、POS)の評価は、提案手法が低リソース言語にモデルを適用する際の性能を向上させることを示す。 さらに、トレーニング戦略の有効性、事前訓練された埋め込みの選択、モデルに関する包括的な分析も提供する。

関連論文リスト

• Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
  多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。 最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-28T10:12:41Z)
• Targeted Multilingual Adaptation for Low-resource Language Families [17.212424929235624]
  我々は、事前学習されたモデルを言語族に適応させるためのベストプラクティスについて研究する。 適応モデルは単言語および多言語ベースラインを大きく上回る。 低リソース言語は、高リソース言語のパフォーマンスをほとんど犠牲にすることなく、トレーニング中に積極的にアップサンプリングできる。
  論文  参考訳（メタデータ） (2024-05-20T23:38:06Z)
• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• Efficiently Adapting Pretrained Language Models To New Languages [9.33333013114014]
  近年の大規模言語モデル (LLM) は低リソース言語に準最適性能を示す。 我々は,既存の学習済みLLMをこれらの問題に対処することなく,新しい言語に効率的に適応する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T20:59:08Z)
• Tik-to-Tok: Translating Language Models One Token at a Time: An Embedding Initialization Strategy for Efficient Language Adaptation [19.624330093598996]
  低級および中級の言語を対象としたモノリンガル言語モデルのトレーニングは、限定的かつしばしば不十分な事前学習データによって難しい。 ソース言語とターゲット言語の両方を含む単語翻訳辞書を一般化することにより、ターゲットトークン化者からのトークンをソース言語トークン化者からの意味的に類似したトークンにマッピングする。 我々は、高リソースモデルから中・低リソース言語、すなわちオランダ語とフリシアン語への変換実験を行っている。
  論文  参考訳（メタデータ） (2023-10-05T11:45:29Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)
• Unsupervised Improvement of Factual Knowledge in Language Models [4.5788796239850225]
  マスケッド言語モデリングは、大規模言語モデルの事前訓練において重要な役割を果たす。 本稿では,様々な知識集約型タスクにおいて,言語モデルの性能を向上させる方法として,事前学習に影響を与えるアプローチを提案する。
  論文  参考訳（メタデータ） (2023-04-04T07:37:06Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。