論文の概要: Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali

• arxiv url: http://arxiv.org/abs/2604.14171v1
• Date: Wed, 25 Mar 2026 07:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.696965
• Title: Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali
• Title（参考訳）: ラマ-3.1-8B, Mistral-7B-v0.1, Qwen3-8Bのネパール語版における言語適応のベンチマーク
• Authors: Ananda Rimal, Adarsha Rimal,
• Abstract要約: ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Romanized Nepali, the Nepali language written in the Latin alphabet, is the dominant medium for informal digital communication in Nepal, yet it remains critically underresourced in the landscape of Large Language Models (LLMs). This study presents a systematic benchmarking of linguistic adaptation across three comparable-sized open-weight models: Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B. We evaluate these architectures under zero-shot and fine-tuned settings using a curated bilingual dataset of 10,000 transliterated instruction-following samples. Performance is quantified across five metrics spanning seven measurement dimensions: Perplexity (PPL), BERTScore, chrF++, ROUGE-1, ROUGE-2, ROUGE-L, and BLEU, capturing fluency, phonetic consistency, and semantic integrity. Models were fine-tuned using Quantized Low-Rank Adaptation (QLoRA) with Rank-Stabilized LoRA (rsLoRA) at rank r=32 on dual NVIDIA Tesla T4 GPUs, training only approximately 1% of each model's parameters in under 27 total GPU-hours. At zero-shot, all three models fail to generate Romanized Nepali, each exhibiting a distinct architecture-specific failure mode. Following fine-tuning, all three resolve these failures and converge to BERTScore approximately 0.75 and chrF++ greater than 23. Overall dimension-wise assessment across ten criteria identifies Qwen3-8B as the overall recommended architecture, being the only model to produce semantically relevant zero-shot output and leading all structural alignment metrics post-SFT. The adaptation headroom hypothesis is confirmed: Llama-3.1-8B, despite its weakest zero-shot baseline, achieves the largest absolute fine-tuning gains in PPL (Delta = -49.77) and BERTScore (Delta = +0.3287), making it the preferred choice for iterative low-resource development pipelines. This work establishes the first rigorous baseline for Romanized Nepali adaptation in comparable-sized open-weight LLMs.
• Abstract（参考訳）: ラテン文字で書かれたネパール語(英語版)はネパールにおける非公式なデジタルコミュニケーションの主流であるが、Large Language Models (LLMs) のランドスケープにおいて批判的に過小評価されている。 本研究では,Llama-3.1-8B,Mistral-7B-v0.1,Qwen3-8Bの3種類のオープンウェイトモデルを対象に,言語適応の体系的ベンチマークを行った。 1万文字の命令追従サンプルをキュレートしたバイリンガルデータセットを用いて、ゼロショットおよび微調整条件下でこれらのアーキテクチャを評価する。 Perplexity (PPL), BERTScore, chrF++, ROUGE-1, ROUGE-2, ROUGE-L, BLEUの5つの測定次元にまたがるパフォーマンスを定量化し, 周波数, 音素の整合性, 意味的整合性を示す。 モデルは2台のNVIDIA Tesla T4 GPU上でRanc-Stabilized LoRA(rsLoRA)のランクr=32の量子化低ランク適応(QLoRA)を使用して微調整され、各モデルのパラメータの約1%を27GPU時間以下でトレーニングした。 ゼロショットでは、3つのモデル全てがローマン化されたネパール語を生成することができず、それぞれが異なるアーキテクチャ固有の失敗モードを示す。 微調整後、3つともこれらの失敗を解決し、BERTScore に約 0.75 と chrF++ に収束する。 Qwen3-8Bは、意味論的に関連するゼロショット出力を生成し、SFT後のすべての構造的アライメント指標を導く唯一のモデルである。 Llama-3.1-8Bは、最も弱いゼロショットベースラインにもかかわらず、PPL (Delta = -49.77) とBERTScore (Delta = +0.3287) で最大の絶対的な微調整ゲインを達成し、反復的な低リソース開発パイプラインに好まれる。 この研究は、同規模のオープンウェイト LLM において、ローマン化ネパール適応のための厳格なベースラインを確立した。

関連論文リスト

• Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models [6.396911723204044]
  Mixture-of-experts (MoE)言語モデルは、高密度モデルよりも優れた品質と効率のトレードオフをもたらすことがしばしば期待されている。 そこで本研究では,高密度および高密度なMoE設計にまたがる7つの推論指向命令調整モデルのベンチマークを示す。
  論文  参考訳（メタデータ） (2026-04-08T12:50:52Z)
• Adapting Methods for Domain-Specific Japanese Small LMs: Scale, Architecture, and Quantization [0.0]
  本稿では,QLoRAファインチューニングを用いたドメイン固有日本語小言語モデルの構築手法を提案する。 最適なトレーニングスケール、ベースモデルの選択、アーキテクチャ対応の量子化の3つに対処する。
  論文  参考訳（メタデータ） (2026-03-12T18:27:57Z)
• Benchmarking Cross-Lingual Semantic Alignment in Multilingual Embeddings [0.0]
  タスク駆動ベンチマーク(MTEB)は基本的なアライメントの欠点を隠蔽する可能性がある。 意味的親和性 (Semantic Affinity, SA) は, 言語間比と言語内拡散比の有界(0, 1)の測定値である。 4つのデータセット(52の実験)に13のモデルをベンチマークすると、3層構造が明らかになる。
  論文  参考訳（メタデータ） (2025-12-29T14:32:57Z)
• Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection [0.0]
  本稿では,LoRAとQLoRAを用いたベンガルヘイトスピーチ検出におけるPEFT(Efficient Fine-Tuning)の最初の応用について述べる。 BD-SHSデータセットには50,281の注釈付きコメントが記載されている。 Llama-3.2-3Bは92.23%、Mistral-7Bは88.94%、Gemma-3-4Bは80.25%だった。
  論文  参考訳（メタデータ） (2025-10-19T20:03:22Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Benchmarking the Performance of Pre-trained LLMs across Urdu NLP Tasks [0.9786690381850356]
  本研究では、22のデータセットと13.8時間の発話をゼロショット環境で使用し、17のタスクにまたがる7つの顕著なLarge Language Model (LLM)を詳細に検討し、その性能を最先端(SOTA)モデルと比較した。 この結果から,Llama 3.1-8Bのようなより少ないパラメータを持つモデルでは,GPT-3.5のような言語多様性の低いモデルよりも,よりリッチな言語特化データの方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:30:37Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。