論文の概要: Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation

• arxiv url: http://arxiv.org/abs/2510.24619v1
• Date: Tue, 28 Oct 2025 16:48:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.286578
• Title: Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation
• Title（参考訳）: プレフィックスベース適応を用いたゼロショットクロスリンガル変換
• Authors: Snegha A, Sayambhu Sen, Piyush Singh Pasi, Abhishek Singhania, Preethi Jyothi,
• Abstract要約: 本稿では,英語から35以上のハイ・ロー・リソース言語へのゼロショット・クロスランガル翻訳のためのプレフィックスに基づく3つの手法について包括的に研究する。 Llama 3.1 8Bでは、プレフィックスメソッドはベレベレベンチマークで最大6%LRAベースラインを上回った。 Mistral v0.3 7Bでも同様の改良が見られた。
• 参考スコア（独自算出の注目度）: 23.597327427570658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the release of new large language models (LLMs) like Llama and Mistral, zero-shot cross-lingual transfer has become increasingly feasible due to their multilingual pretraining and strong generalization capabilities. However, adapting these decoder-only LLMs to new tasks across languages remains challenging. While parameter-efficient fine-tuning (PeFT) techniques like Low-Rank Adaptation (LoRA) are widely used, prefix-based techniques such as soft prompt tuning, prefix tuning, and Llama Adapter are less explored, especially for zero-shot transfer in decoder-only models. We present a comprehensive study of three prefix-based methods for zero-shot cross-lingual transfer from English to 35+ high- and low-resource languages. Our analysis further explores transfer across linguistic families and scripts, as well as the impact of scaling model sizes from 1B to 24B. With Llama 3.1 8B, prefix methods outperform LoRA-baselines by up to 6% on the Belebele benchmark. Similar improvements were observed with Mistral v0.3 7B as well. Despite using only 1.23M learning parameters with prefix tuning, we achieve consistent improvements across diverse benchmarks. These findings highlight the potential of prefix-based techniques as an effective and scalable alternative to LoRA, particularly in low-resource multilingual settings.
• Abstract（参考訳）: LlamaやMistralのような新しい大規模言語モデル(LLM)のリリースにより、多言語事前学習と強力な一般化機能により、ゼロショットのクロスランガル転送が実現可能になった。 しかし、これらのデコーダのみのLLMを言語間の新しいタスクに適用することは、依然として困難である。 低ランク適応(LoRA)のようなパラメータ効率のよい微調整(PeFT)技術は広く用いられているが、特にデコーダのみのモデルにおけるゼロショット転送において、ソフトプロンプトチューニング、プレフィックスチューニング、Llama Adapterのようなプレフィックスベースの技術はあまり研究されていない。 本稿では,英語から35以上のハイ・ロー・リソース言語へのゼロショット・クロスランガル翻訳のためのプレフィックスに基づく3つの手法について包括的に研究する。 さらに,言語家族やスクリプト間の移動や,モデルサイズが1Bから24Bに拡大する影響についても検討した。 Llama 3.1 8Bでは、プレフィックスメソッドはベレベレベンチマークで最大6%LRAベースラインを上回った。 ミストラル v0.3 7Bでも同様の改良が見られた。 プレフィックスチューニングで123万の学習パラメータしか使用していないにもかかわらず、さまざまなベンチマークで一貫した改善を実現している。 これらの知見は,LoRAの代替として,特に低リソースマルチリンガル設定において,プレフィックスベースの手法が有効かつスケーラブルである可能性を示している。

関連論文リスト

• Sparse Subnetwork Enhancement for Underrepresented Languages in Large Language Models [11.719190735841407]
  大規模な言語モデルは、言語間で不均一なパフォーマンスを示す。 表現不足言語におけるLLMの単言語機能向上のためのフレームワークを提案する。 言語活性化確率エントロピーを用いて言語特異的ニューロンを同定し,これらのニューロンに付随する重みのみを微細トンネルで同定する。
  論文  参考訳（メタデータ） (2025-10-15T14:14:49Z)
• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Franken-Adapter: Cross-Lingual Adaptation of LLMs by Embedding Surgery [31.516243610548635]
  我々は,デコーダのみの大規模言語モデルに対するモジュール型言語適応アプローチであるtextitFranken-Adapter$を提示する。 提案手法は,対象言語用にカスタマイズされた語彙を作成し,多言語データへの組込みによる言語適応を行うことから始める。 最大27Bパラメータを持つ$ttGemma2$モデルの実験では、96言語で最大20%の改善が示され、識別的タスクと生成的タスクの両方にまたがっている。
  論文  参考訳（メタデータ） (2025-02-12T00:38:11Z)
• Benchmarking the Performance of Pre-trained LLMs across Urdu NLP Tasks [0.9786690381850356]
  本研究では、22のデータセットと13.8時間の発話をゼロショット環境で使用し、17のタスクにまたがる7つの顕著なLarge Language Model (LLM)を詳細に検討し、その性能を最先端(SOTA)モデルと比較した。 この結果から,Llama 3.1-8Bのようなより少ないパラメータを持つモデルでは,GPT-3.5のような言語多様性の低いモデルよりも,よりリッチな言語特化データの方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:30:37Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models [95.32691891392903]
  本稿では,プロンプトチューニングを用いた様々なNLUタスクの言語間評価を行い,それを微調整と比較する。 その結果, アクシデントチューニングは, データセット間の微調整よりもはるかに優れた言語間移動を実現することがわかった。
  論文  参考訳（メタデータ） (2022-10-22T05:48:02Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Multilingual Speech Translation with Efficient Finetuning of Pretrained Models [82.22294901727933]
  最小限のLNA(LayerNorm and Attention)ファインタニングは、ゼロショットのクロスリンガルおよびクロスモーダリティ転送能力を実現することができる。 本手法は多言語多言語モデルにおいて強いゼロショット性能を示す。
  論文  参考訳（メタデータ） (2020-10-24T08:15:08Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。