論文の概要: KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding
- arxiv url: http://arxiv.org/abs/2607.17173v1
- Date: Sun, 19 Jul 2026 10:17:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.386186
- Title: KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding
- Title（参考訳）: KyrgyzLLM-Bench: Kyrgyz言語理解のベンチマーク
- Abstract要約: 本稿では,KyrgyzLLM-Benchベンチマークスイートを用いて,キルギスにおける大規模言語モデル(LLM)の体系的および大規模評価を行った。
ゼロショットおよび少数ショット設定下で26個のオープンソースLCMを評価し,モデル性能の解析,言語間移動,翻訳成果物の信頼性への影響について検討した。
- 参考スコア（独自算出の注目度）: 6.2797977024234255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating large language models (LLMs) across languages remains challenging, as most multilingual benchmarks rely on translated English datasets, often obscuring linguistic and cultural specificity in the target language. This issue is particularly pronounced for less-resourced languages such as Kyrgyz, where reliable natively authored evaluation data are scarce. Building on previously introduced Kyrgyz-language evaluation datasets, this work reports the first systematic and large-scale evaluation of LLMs in Kyrgyz using the KyrgyzLLM-Bench benchmark suite. KyrgyzLLM-Bench comprises two natively authored datasets$-$KyrgyzMMLU and KyrgyzRC$-$together with carefully translated and manually post-edited versions of WinoGrande, HellaSwag, BoolQ, and TruthfulQA. We evaluate 26 open- and closed-source LLMs under zero-shot and few-shot settings, analyzing model performance, cross-lingual transfer, and the impact of translation artifacts on evaluation reliability. Across families and tasks, model rankings transfer broadly from English to Kyrgyz on WinoGrande and BoolQ, and to a lesser extent on MMLU, while HellaSwag exhibits a substantial English-Kyrgyz performance gap consistent with translation-induced plausibility shifts. Few-shot prompting improves several open-source models on reading comprehension but behaves inconsistently for proprietary models on translated tasks. We publicly release all datasets, evaluation code, and per-model results, and integrate the Kyrgyz tasks into a widely used multilingual evaluation framework to support future research on Kyrgyz NLP.
- Abstract（参考訳）: 言語全体にわたる大規模言語モデル (LLM) の評価は依然として困難であり、ほとんどの多言語ベンチマークは翻訳された英語のデータセットに依存しており、しばしばターゲット言語における言語的・文化的特異性を隠蔽している。
この問題は、Kyrgyzのような、信頼性の高いネイティブに認可された評価データが不足している低リソース言語では特に顕著である。
本研究は,KyrgyzLLM-Benchベンチマークスイートを用いて,KyrgyzにおけるLLMの系統的および大規模評価を行う。
KyrgyzLLM-Benchは、ネイティブに作成されている2つのデータセット$-$KyrgyzMMLUとKyrgyzRC$-$togetherで構成され、WinoGrande、HellaSwag、BoolQ、TruthfulQAの慎重に翻訳され手作業で編集されたバージョンである。
ゼロショットおよび少数ショット設定下で26個のオープンソースLCMを評価し,モデル性能の解析,言語間移動,翻訳成果物の信頼性への影響について検討した。
家族や仕事全体を通じて、モデルランキングはウィノグランデやボオールQでキルギスに広く移行し、MMLUでは少ない程度に減少し、一方HellaSwagは翻訳による可視性シフトと一致する実質的な英語とキルギスのパフォーマンスギャップを示している。
少ないショットプロンプトは、理解を読み取る際のいくつかのオープンソースのモデルを改善するが、翻訳されたタスクのプロプライエタリなモデルに対して矛盾なく振る舞う。
我々は、すべてのデータセット、評価コード、モデル毎の結果を公開し、Kyrgyzタスクを広く使われている多言語評価フレームワークに統合し、将来のKyrgyz NLPの研究を支援する。
関連論文リスト
- MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。
イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。
この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
論文 参考訳（メタデータ） (2026-08-06T10:24:08Z) - Lost in Translation: Do LVLM Judges Generalize Across Languages? [46.119587015038746]
MM-JudgeBenchは,マルチリンガルおよびマルチモーダルの判断モデル評価のための,最初の大規模ベンチマークである。
MM-JudgeBenchには、25のタイプ的多種多様な言語にまたがる60万以上のペアの好みインスタンスが含まれている。
LVLMを22個評価することにより,提案するベンチマークにおいて,言語間性能のかなりのばらつきを明らかにした。
論文 参考訳（メタデータ） (2026-04-21T12:29:10Z) - BETA-Labeling for Multilingual Dataset Construction in Low-Resource IR [0.06363400715351396]
この研究は、BETA-labelingフレームワークを用いて構築されたBangla IRデータセットを示す。
我々は、他の低リソース言語からのIRデータセットがワンホップ機械翻訳によって効果的に再利用できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-16T06:04:04Z) - KyrgyzBERT: A Compact, Efficient Language Model for Kyrgyz NLP [0.0]
KyrgyzBERTは、KyrgyzのためのモノリンガルBERTベースの言語モデルである。
このモデルは35.9Mパラメータを持ち、言語の形態的構造のために設計されたカスタムトークンを使用する。
Kyrgyz-sst2は、Stanford Sentiment Treebankを翻訳し、手動で完全なテストセットを注釈付けすることで構築された感情分析ベンチマークである。
論文 参考訳（メタデータ） (2025-11-25T11:05:53Z) - skLEP: A Slovak General Language Understanding Benchmark [0.030113849517062304]
skLEPはスロバキアの自然言語理解(NLU)モデルを評価するために特別に設計された最初の包括的なベンチマークである。
このベンチマークを作成するために、スロバキア向けに調整された新しいオリジナルデータセットをキュレートし、精密に英語のNLUリソースを翻訳した。
本稿では,スロバキア固有の言語モデル,多言語言語モデル,および英語事前学習言語モデルの体系的および広範囲な評価を行う。
論文 参考訳（メタデータ） (2025-06-26T17:35:04Z) - GlotEval: A Test Suite for Massively Multilingual Evaluation of Large Language Models [24.450836403716547]
GlotEvalは、多言語評価のために設計された軽量フレームワークである。
数十から数百の言語にまたがる7つの重要なタスク(機械翻訳、テキスト分類、要約、オープンエンドジェネレーション、読書理解、シーケンスラベリング、本質的な評価)をサポートする。
多様な言語的文脈におけるモデルの強みと弱みの正確な診断を可能にする。
論文 参考訳（メタデータ） (2025-04-05T12:30:58Z) - Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:39:44Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳（メタデータ） (2023-12-26T18:38:54Z) - The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-08-31T17:43:08Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳（メタデータ） (2020-10-27T13:12:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。