論文の概要: Benchmarking Parameter-Efficient Fine-Tuning of Large Language Models for Low-Resource Tajik Text Generation with the Tajik Web Corpus

• arxiv url: http://arxiv.org/abs/2605.03742v1
• Date: Tue, 05 May 2026 13:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.947668
• Title: Benchmarking Parameter-Efficient Fine-Tuning of Large Language Models for Low-Resource Tajik Text Generation with the Tajik Web Corpus
• Title（参考訳）: タジク Web コーパスを用いた低リソースタジクテキスト生成のための大規模言語モデルのベンチマークパラメータ-効率的な微調整
• Authors: Mullosharaf K. Arabov,
• Abstract要約: 著者は、タジク最大のオープンアクセスコーパスであるタジクウェブコーパスを作成、公開し、319,298の文書(111億文字)を作成した。 17のコンフィギュレーションがベンチマークされ、自動回帰、エンコーダデコーダ、エンコーダのみのモデルで、完全な微調整、LoRA、QLoRAの3つの戦略が実施された。 小型の GPT-2 ファミリーモデルでは、完全な微調整は LoRA (7.60-8.42) よりも低いパープレキシティ (3.48) を得たが、破滅的な忘れを招いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is devoted to the adaptation of generative large language models for the Tajik language, a low-resource language with Cyrillic script. To overcome the shortage of digital text resources, the author created and publicly released the Tajik Web Corpus, the largest open-access corpus of Tajik, comprising 319,298 documents (~1.11 billion characters). On a subsample of 10,000 documents, 17 configurations were benchmarked, covering autoregressive, encoder-decoder, and encoder-only models with three fine-tuning strategies: full fine-tuning, LoRA, and QLoRA (ranks 8 and 16). Quality was assessed via perplexity and cross-entropy loss; peak GPU memory and training time were also recorded. Best results were achieved by Mistral 7B with QLoRA (r=16): mean perplexity 5.03, standard deviation 0.03. Increasing rank from 8 to 16 gave statistically insignificant improvement while raising memory consumption. For small GPT-2 family models, full fine-tuning yielded lower perplexity (3.48 for GPT-2 Medium) than LoRA (7.60-8.42), but induced catastrophic forgetting. The encoder-only XLM-RoBERTa showed the worst results (perplexity 59.3). The novelty lies in creating the largest verified Tajik corpus and the first systematic analysis of PEFT effectiveness for Tajik text generation. Practical value lies in recommendations for architecture and fine-tuning strategy selection, optimizing computational costs without substantial quality loss.
• Abstract（参考訳）: 本稿では,Cyrillicスクリプトを用いた低リソース言語であるTajik言語に対する生成的大規模言語モデルの適応性について述べる。 デジタルテキストリソースの不足を克服するため、著者はタジク最大のオープンアクセスコーパスであるタジク・ウェブ・コーパスを作成した。 1万のドキュメントのサブサンプルでは、17のコンフィギュレーションがベンチマークされ、自動回帰、エンコーダデコーダ、エンコーダのみのモデルに、フル微調整、LoRA、QLoRA(ランク8と16)の3つの微調整戦略が実施された。 品質はパープレキシティとクロスエントロピー損失によって評価され、ピークGPUメモリとトレーニング時間も記録された。 ミストラル7BとQLoRA(r=16):平均パープレキシティ 5.03、標準偏差 0.03。 8から16へのランクの上昇は、メモリ消費を増加させながら統計的に重要な改善をもたらした。 小型の GPT-2 ファミリーモデルでは、完全な微調整は LoRA (7.60-8.42) よりも低いパープレキシティ (3.48) を得たが、破滅的な忘れを招いた。 エンコーダのみのXLM-RoBERTaは最悪の結果を示した(59.3)。 新規性は、タジク語コーパスの最大の検証と、タジク語テキスト生成におけるPEFTの有効性の体系的解析である。 現実的な価値は、アーキテクチャと微調整戦略の選択を推奨し、大幅な品質損失を伴わずに計算コストを最適化することにある。

関連論文リスト

• Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
  ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
  論文  参考訳（メタデータ） (2026-03-25T07:02:51Z)
• Efficient Fine-Tuning Methods for Portuguese Question Answering: A Comparative Study of PEFT on BERTimbau and Exploratory Evaluation of Generative LLMs [1.5049442691806052]
  本研究は,ブラジルポルトガル語のSQuAD v1翻訳であるSQuAD-BRにおける質問回答のためのBERTimbauの体系的評価を提示する。 エンコーダをベースとしたモデルは,ブラジルの抽出ポルトガル語QAに対して,大規模な生成LDMよりも計算コストが大幅に低く,効率よく微調整できることを示す。
  論文  参考訳（メタデータ） (2026-03-22T21:56:05Z)
• Adaptive Engram Memory System for Indonesian Language Model: Generative AI Based on TOBA LM for Batak and Minang Language [0.0]
  TOBA-LMは、12億のパラメータを持つGPT-2アーキテクチャに基づく言語モデルである。 このアーキテクチャは、適応的なn-gramベースのメモリシステムであるEngram Memoryメカニズムと、500,000 x 768の埋め込みテーブルを統合している。
  論文  参考訳（メタデータ） (2026-02-17T14:48:08Z)
• BanglaLorica: Design and Evaluation of a Robust Watermarking Algorithm for Large Language Models in Bangla Text Generation [2.464003792743989]
  本研究は,最新のテキスト透かし手法の体系的評価を初めて行ったものである。 組込み時間とポストジェネレーション透かしを組み合わせた層状透かし方式を提案する。 本研究は,多言語透かしにおけるロバスト性品質のトレードオフを定量化し,実践的,トレーニング不要なソリューションとして層状透かしを確立した。
  論文  参考訳（メタデータ） (2026-01-08T03:01:59Z)
• AICC: Parse HTML Finer, Make Models Better -- A 7.3T AI-Ready Corpus Built by a Model-Based HTML Parser [54.623900859999424]
  我々は、コンテンツ抽出をシーケンスラベリング問題として再構成する新しい抽出パイプラインであるMinerU-HTMLを紹介する。 MainWebBenchでは、7,887の注釈付きWebページ、MinerU-HTML 81.8%のROUGE-N F1をTrfilaturaの63.6%と比較した。
  論文  参考訳（メタデータ） (2025-11-20T14:15:23Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Self-Data Distillation for Recovering Quality in Pruned Large Language Models [1.5665059604715017]
  ワンショットプルーニングは、特に多段階推論を必要とするタスクにおいて、大幅な品質劣化をもたらす。 品質の低下を回復するために、教師付き微調整(SFT)が一般的に用いられるが、これは破滅的な忘れを招きかねない。 本研究では,これらの課題に対処するために,自己データ蒸留ファインチューニングを利用する。
  論文  参考訳（メタデータ） (2024-10-13T19:53:40Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。