論文の概要: Parameter-Efficient Adaptation of Large Language Models to a Low-Resource Agglutinative Language: A Corpus, Datasets, and a Reproducible Benchmark for the Bashkir Language

• arxiv url: http://arxiv.org/abs/2610.31397v1
• Date: Thu, 22 Oct 2026 14:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.418453
• Title: Parameter-Efficient Adaptation of Large Language Models to a Low-Resource Agglutinative Language: A Corpus, Datasets, and a Reproducible Benchmark for the Bashkir Language
• Title（参考訳）: Bashkir言語のためのコーパス,データセット,再現可能なベンチマーク
• Abstract要約: バシュキル(Bashkir)は、キリル語で書かれた低格付け言語であり、表現が不十分なままである。 本稿では,オープンリソース・スイートと適応手法の体系的ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bashkir is a low-resource agglutinative language written in Cyrillic and remains poorly represented in modern LLMs. We present an open resource suite and a systematic benchmark of adaptation methods: the Bashkir Web Corpus (71,567 documents, 46.9M tokens, 16 sources) and three labelled datasets for binary, multiclass and multilabel text classification; the benchmark covers the first two. Experiments use eight architectures (82M-8B: DistilGPT2, GPT-2 base/medium, Phi-3-mini, Mistral-7B, YandexGPT-5-Lite-8B, mBERT, XLM-R) and three adaptation groups (full fine-tuning, QLoRA, in-context learning), plus continual pretraining (CPT). (1) QLoRA on 3.8-8B models outperforms encoder-only fine-tuning on binary classification: YandexGPT-5-Lite-8B with CPT reaches macro-F1 0.748 vs 0.653 (XLM-R) and 0.650 (mBERT); pairwise differences are significant after Holm correction (p<0.001). (2) YandexGPT-5-Lite-8B significantly outperforms Mistral-7B and Phi-3-mini on multiclass classification, BPB and native-speaker ratings (mean 3.28 vs 2.52 and 2.22; n=100; alpha=0.69-0.77; p<0.05); on binary classification its QLoRA advantage is not significant (p>=0.084). (3) CPT effects depend on model and task: perplexity improves for Phi-3-mini (+0.58) and YandexGPT-5-Lite-8B (+0.33) but worsens for Mistral-7B (-1.15, p<0.001); on binary classification CPT helps Mistral-7B most (+4.0 macro-F1). (4) Tokeniser fertility on Bashkir varies 2.67x (2.92-7.80) and tracks adaptation quality, while perplexity across tokenisers is not comparable. Cyrillic tokenisers with Russian pretraining are preferable; LLM judges reproduce native ratings for grammar and coherence (rho=0.33-0.46) but not language correctness (rho=0.16, p=0.11); native evaluation remains necessary. All artefacts are open-licensed.
• Abstract（参考訳）: バシュキル(Bashkir)は、キリル語で書かれた低リソースの凝集言語であり、現代のLLMでは表現が不十分である。 Bashkir Web Corpus(71,567の文書、46.9Mのトークン、16のソース)とバイナリ、マルチクラス、マルチラベルのテキスト分類のためのラベル付きデータセット3つ。 実験には8つのアーキテクチャ (82M-8B: DistilGPT2, GPT-2 base/medium, Phi-3-mini, Mistral-7B, YandexGPT-5-Lite-8B, mBERT, XLM-R) と3つの適応グループ (フル微調整, QLoRA, in-context learning) が使用されている。 1) CPTのYandexGPT-5-Lite-8Bはマクロ-F1 0.748 vs 0.653 (XLM-R) と 0.650 (mBERT) に到達し、ホルム補正(p<0.001)後に差は大きい。 2) YandexGPT-5-Lite-8B は Mistral-7B と Phi-3-mini を多クラス分類、BPB およびネイティブスピーカー評価(平均3.28 vs 2.52 and 2.22; n=100; α=0.69-0.77; p<0.05); 2進分類ではQLoRA の優位性は有意なものではない(p>=0.084)。 パープレキシティはPhi-3-mini (+0.58) とYandexGPT-5-Lite-8B (+0.33) で改善されるが、Mistral-7B (-1.15, p<0.001) では悪化する。 (4)Bashkir上のTokeniserの受精率は2.67倍(2.92-7.80)であり、適応品質を追跡できる。 LLM判事は文法とコヒーレンス(rho=0.33-0.46)のネイティブ格付けを再現するが、言語の正しさ(rho=0.16, p=0.11)は再現しない。 すべての工芸品は公開ライセンスである。

関連論文リスト

• Quality-Aware Self-Correcting Speech Translation on an Edge Device [12.042300183299487]
  我々は,Jetson Nano (4GB)上で動作する完全オフライン音声音声合成パイプラインを提案する。 BERTは品質評価(QE)ゲートとして機能し、信頼度が予め定義されたしきい値以下になると二次パスをトリガーする。
  論文  参考訳（メタデータ） (2026-10-06T00:21:08Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• LLM-Driven Neural Network Generation with Same-Family Architecture Guidance: Disentangling Transfer and Adaptation [48.83701310501069]
  大規模言語モデル(LLM)はニューラルネットの修正を生成することができるが、制限のない生成はしばしば無効または有害である。 本稿では、ニューラルネットワークデータベースからより強力な同族源モデルを用いて、弱いターゲットモデルを改善するという、より狭い設定について研究する。 我々は,ソース制御,ソース条件付き候補,非LLM hp_copy アブレーションを含むソース誘導型候補生成プロトコルを,同等の評価予算の下で提案する。
  論文  参考訳（メタデータ） (2026-07-06T23:59:18Z)
• Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir [0.0]
  本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。 各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
  論文  参考訳（メタデータ） (2026-05-06T14:14:35Z)
• Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
  大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。 既存のアプローチは、ゼロから完全なモデル実装を生成します。 我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
  論文  参考訳（メタデータ） (2026-05-06T13:32:05Z)
• LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification [0.0]
  ブラジルの法律テキスト分類における言語モデル評価のための最初の公開ベンチマークであるLegalBench-BRを紹介する。 データセットは、サンタカタリーナ州裁判所(TJSC)による3,105の手続きからなる。 クラスバランステストセットでは、BERTimbau-LoRAは87.6%の精度と0.87のマクロF1を達成する(Claude 3.5 Haikuより+22pp、GPT-4o miniより+28pp)。
  論文  参考訳（メタデータ） (2026-04-20T22:00:02Z)
• Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
  ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
  論文  参考訳（メタデータ） (2026-03-25T07:02:51Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。