論文の概要: Family Matters: Language Transfer and Merging for Adapting Small LLMs to Faroese

• arxiv url: http://arxiv.org/abs/2510.00810v1
• Date: Wed, 01 Oct 2025 12:17:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.548336
• Title: Family Matters: Language Transfer and Merging for Adapting Small LLMs to Faroese
• Title（参考訳）: 家族問題:ファロー語への小さなLLM適応のための言語移行とマージ
• Authors: Jenny Kunz, Iben Nyholm Debess, Annika Simonsen,
• Abstract要約: 我々は、低リソースの北ゲルマン語であるFaroeseに小型で効率的なLLMを適用する。 本研究は,LoRAを用いたパラメータ効率チューニングと完全微調整を比較し,言語的精度とテキスト理解に与える影響を評価する。
• 参考スコア（独自算出の注目度）: 1.3891530345631953
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We investigate how to adapt small, efficient LLMs to Faroese, a low-resource North Germanic language. Starting from English models, we continue pre-training on related Scandinavian languages, either individually or combined via merging, before fine-tuning on Faroese. We compare full fine-tuning with parameter-efficient tuning using LoRA, evaluating their impact on both linguistic accuracy and text comprehension. Due to the lack of existing Faroese evaluation data, we construct two new minimal-pair benchmarks from adapted and newly collected datasets and complement them with human evaluations by Faroese linguists. Our results demonstrate that transfer from related languages is crucial, though the optimal source language depends on the task: Icelandic enhances linguistic accuracy, whereas Danish boosts comprehension. Similarly, the choice between full fine-tuning and LoRA is task-dependent: LoRA improves linguistic acceptability and slightly increases human evaluation scores on the base model, while full fine-tuning yields stronger comprehension performance and better preserves model capabilities during downstream fine-tuning.
• Abstract（参考訳）: 低リソースの北ゲルマン語であるファロー語に、小型で効率的なLLMを適応させる方法について検討する。 英語モデルから始めて、我々は関連するスカンジナビア語を個別に、または統合して、ファロア語で微調整する前に、事前訓練を続けます。 本研究は,LoRAを用いたパラメータ効率チューニングと完全微調整を比較し,言語的精度とテキスト理解に与える影響を評価する。 既存のFeroese評価データがないため、適応されたデータセットと新しく収集されたデータセットから2つの新しいミニマルペアベンチマークを構築し、Feroese言語学者による人間による評価を補完する。 アイスランド語は言語精度を高めるが、デンマーク語は理解を高める。 同様に、完全な微調整とLoRAの選択はタスク依存である: LoRAは言語的受容性を改善し、ベースモデル上での人間の評価スコアをわずかに向上する。

関連論文リスト

• Testing the Limits of Machine Translation from One Book [0.0]
  現在の最先端モデルは、コンテキスト内学習を活用して、以前は目に見えない言語コンテキストに変換する能力を示している。 話者数が多いにも関わらず、最小限のデジタルリソースを持つ言語であるKanuriに焦点を当てる。
  論文  参考訳（メタデータ） (2025-08-08T19:27:44Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [54.59207567677249]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Evaluating Standard and Dialectal Frisian ASR: Multilingual Fine-tuning and Language Identification for Improved Low-resource Performance [9.624005980086707]
  最先端の手法では、大量のデータに事前訓練されたモデルをラベル付きデータを使って微調整する自己教師ありトランスファーラーニングをデプロイする。 我々は,多言語微調整データと補助言語識別タスクを用いて,Frisian ASRの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:42:46Z)
• Language Fusion for Parameter-Efficient Cross-lingual Transfer [21.96231169571248]
  Fusion forLanguage Representations (FLARE)は、英語以外の言語における表現品質と下流のパフォーマンスを向上させる新しい手法である。 FLAREは、低ランク (LoRA) アダプタ内でのソースおよびターゲット言語表現を、軽量線形変換を用いて統合する。 FLAREの有効性を実証するためには、自然言語推論、質問応答、感情分析など、言語横断の自然言語理解タスクにまたがる一連の実験がある。
  論文  参考訳（メタデータ） (2025-01-12T18:02:29Z)
• AAVENUE: Detecting LLM Biases on NLU Tasks in AAVE via a Novel Benchmark [3.1927733045184885]
  AAVENUE は、AAVE と Standard American English の NLU タスクにおける大きな言語モデル (LLM) のパフォーマンスを評価するためのベンチマークである。 AAVENUE と VALUE の翻訳を,5つの人気のある LLM と,フルーエンシ,BARTScore,品質,コヒーレンス,理解可能性などの総合的な指標を用いて比較した。 評価の結果, LLM は AAVE に翻訳されたバージョンよりも, SAE タスクで一貫した性能が向上し, 固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-08-27T07:56:35Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese [54.00582760714034]
  言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。 我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
  論文  参考訳（メタデータ） (2023-04-18T08:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。