論文の概要: Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir

• arxiv url: http://arxiv.org/abs/2605.04948v1
• Date: Wed, 06 May 2026 14:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.864063
• Title: Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir
• Title（参考訳）: 大規模言語モデルを低リソース凝集言語に適応する:BashkirにおけるLoRAとQLoRAの比較研究
• Authors: Mullosharaf K. Arabov, Svetlana S. Khaybullina,
• Abstract要約: 本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。 各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a comparative study of parameter-efficient fine-tuning (PEFT) methods, including LoRA and QLoRA, applied to the task of adapting large language models to the Bashkir language, a low-resource agglutinative language of the Turkic family. Experimental evaluation is conducted on a Bashkir text corpus of 71k documents (46.9M tokens) using models of various architectures: DistilGPT2, GPT-2 (base, medium), Phi-2, Qwen2.5-7B, DeepSeek-7B, and Mistral-7B. To improve the reliability of results, each configuration was trained with three different random seeds. The lowest perplexity on the test set was obtained for GPT-2 medium with full fine-tuning (3.34). Meanwhile, QLoRA applied to Mistral-7B (3.79) and Phi-2 (3.81) achieved comparable quality with over 40 times fewer trainable parameters. However, we also observed cases of significant quality degradation when using PEFT for certain architectures (e.g., DeepSeek-7B with rank 8, perplexity = 129.55), indicating that the outcome depends critically on the choice of the base model and its tokenizer. Additionally, a qualitative analysis of generated texts based on Bashkir prompts revealed that models with the best perplexity do not necessarily produce the most coherent outputs: QLoRA-tuned models generated monolingual Bashkir continuations, whereas the fully fine-tuned model with the lowest perplexity frequently switched to English. The results suggest that QLoRA on 7B-scale models offers an effective compromise between quality and computational cost for Bashkir. To ensure reproducibility, open data, code, and trained adapters will be released upon acceptance.
• Abstract（参考訳）: 本稿では,トルコ語族の低リソース凝集言語であるBashkir言語に大規模言語モデルを適応させる作業に,LoRAやQLoRAなどを含むPEFT法の比較検討を行った。 DistilGPT2, GPT-2 (base, medium), Phi-2, Qwen2.5-7B, DeepSeek-7B, Mistral-7B の各アーキテクチャのモデルを用いて,71k文書 (46.9Mトークン) のBashkirテキストコーパスを用いて実験を行った。 結果の信頼性を向上させるため、各構成は3つの異なるランダムシードで訓練された。 テストセットの最も低いパープレキシティは、フル微調整(3.34)のGPT-2媒体で得られた。 一方、QLoRAはMistral-7B (3.79) とPhi-2 (3.81) に応用され、40倍以上のトレーニング可能なパラメータで同等の品質を達成した。 しかし, PEFTを特定のアーキテクチャに使用する場合(例えば, ランク8のDeepSeek-7B=129.55)に有意な品質劣化がみられ, 結果がベースモデルとトークン化器の選択に大きく依存していることが示唆された。 さらに、Bashkir のプロンプトに基づく生成されたテキストの質的解析により、最高のパープレクティリティを持つモデルは必ずしも最もコヒーレントな出力を生成するとは限らないことが明らかになった: QLoRA で調整されたモデルはモノリンガルな Bashkir の継続を生成し、一方、最も低いパープレクティを持つ完全微調整モデルは、しばしば英語に切り替えられる。 その結果,7Bスケールモデル上でのQLoRAは,Bashkirの品質と計算コストとの間に効果的な妥協をもたらすことが示唆された。 再現性を確保するために、オープンデータ、コード、および訓練されたアダプタは、受け入れ次第リリースされる。

関連論文リスト

• Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models [6.396911723204044]
  Mixture-of-experts (MoE)言語モデルは、高密度モデルよりも優れた品質と効率のトレードオフをもたらすことがしばしば期待されている。 そこで本研究では,高密度および高密度なMoE設計にまたがる7つの推論指向命令調整モデルのベンチマークを示す。
  論文  参考訳（メタデータ） (2026-04-08T12:50:52Z)
• Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
  ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
  論文  参考訳（メタデータ） (2026-03-25T07:02:51Z)
• Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs [1.5049442691806052]
  本研究は,ブラジルポルトガル語のSQuAD v1翻訳であるSQuAD-BRにおける質問回答のためのBERTimbauの体系的評価を提示する。 エンコーダをベースとしたモデルは,ブラジルの抽出ポルトガル語QAに対して,大規模な生成LDMよりも計算コストが大幅に低く,効率よく微調整できることを示す。
  論文  参考訳（メタデータ） (2026-03-22T21:56:05Z)
• Evaluating Prompt Engineering Techniques for RAG in Small Language Models: A Multi-Hop QA Approach [9.672512327395435]
  Retrieval Augmented Generation (RAG)は、外部知識を統合することで言語モデルの現実的な基盤を強化するための強力なアプローチである。 本稿では,プロンプトテンプレート設計がRAG性能に与える影響を大規模に検討する。 その結果,Qwen2.5では83%,Gemma3-4B-Itでは84.5%の大幅なパフォーマンス向上が確認された。
  論文  参考訳（メタデータ） (2026-02-14T21:17:44Z)
• Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection [0.0]
  本稿では,LoRAとQLoRAを用いたベンガルヘイトスピーチ検出におけるPEFT(Efficient Fine-Tuning)の最初の応用について述べる。 BD-SHSデータセットには50,281の注釈付きコメントが記載されている。 Llama-3.2-3Bは92.23%、Mistral-7Bは88.94%、Gemma-3-4Bは80.25%だった。
  論文  参考訳（メタデータ） (2025-10-19T20:03:22Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。