論文の概要: KBS: A Korean Benchmark Suite for Foundation Model Evaluation

• arxiv url: http://arxiv.org/abs/2610.21227v1
• Date: Thu, 15 Oct 2026 04:18:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.176648
• Title: KBS: A Korean Benchmark Suite for Foundation Model Evaluation
• Title（参考訳）: KBS: 基礎モデル評価のための韓国のベンチマークスイート
• Abstract要約: 9,396項目にわたる6つの機能をカバーする韓国ベンチマークスイート(KBS)を提示する。 このスイートは、レビュー、ローカライゼーション、直接の韓国建設、そして韓国への再設計を組み合わせたものである。 韓国で開発されたモデル、多言語オープンモデル、およびモデルアクセス、プロンプトフォーマット、スコアリングの違いを考慮したプロトコル下でのクローズドAPIモデルを評価した。
• 参考スコア（独自算出の注目度）: 5.886104347429466
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a Korean Benchmark Suite (KBS) comprising Ko-ARC, Ko-GSM8K, Ko-EQ-Bench, Ko-WinoGrande, Ko-LAMBADA, and Ko-IFEval, covering six capabilities across 9,396 items. The suite combines review, localization, direct Korean construction, and redesign for Korean, avoiding a translation-only approach to benchmark adaptation. We evaluate Korean-developed models, multilingual open models, and closed API models under protocols that account for model access, prompt format, and scoring differences. Results show that Korean benchmark scores depend on task construction, scoring rules, prompting, and model post-training. These findings suggest that Korean evaluation should report both final scores and the settings used to obtain them.
• Abstract（参考訳）: 本稿では,Ko-ARC,Ko-GSM8K,Ko-EQ-Bench,Ko-WinoGrande,Ko-LAMBADA,Ko-IFEvalからなる韓国製のベンチマークスイートについて述べる。 このスイートは、レビュー、ローカライゼーション、韓国の直接建設、そして韓国への再設計を組み合わせて、ベンチマーク適応への翻訳のみのアプローチを避けている。 韓国で開発されたモデル、多言語オープンモデル、およびモデルアクセス、プロンプトフォーマット、スコアリングの違いを考慮したプロトコル下でのクローズドAPIモデルを評価した。 結果は、韓国のベンチマークスコアがタスク構成、スコアリングルール、プロンプト、モデルポストトレーニングに依存していることを示している。 これらの結果から,韓国評価は最終スコアと獲得に使用する設定の両方を報告すべきであることが示唆された。

関連論文リスト

• CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation [49.0564416580726]
  我々は,クロスアテンティブ・リランカの組成判断を埋め込みモデルに蒸留する。 我々は,CORE-RERANKER-8Bが平均82.7%を達成し,Janna-Rerankerを10.7ポイント上回ったことを示す。 改良はCOCOとFlickr30Kでの検索性能を犠牲にすることなくMCMRベンチマークに転送される。
  論文  参考訳（メタデータ） (2026-09-03T16:50:29Z)
• NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap [6.166565297478229]
  NOLLIは韓国のパフォーマンスギャップの発生箇所を診断するためのベンチマークである。 15のパズルタイプ(25のタスク、7500のアイテム)で構成され、各インスタンスはシード生成可能で、ユニークなソリューションを持つことが検証される。 朝鮮文化や正書法に根ざした朝鮮語のみの業務と、一致した直訳、漢語ジャム(サブ・シラビック文字)の文字適応を兼ね備えている。
  論文  参考訳（メタデータ） (2026-08-05T02:58:53Z)
• K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts [43.3460021951349]
  我々は,K-BrowseCompを紹介した。K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseC omp,K-BrowseComp。 300プロブレムのK-BrowseComp-Verifiedサブセットは、韓国のネイティブスピーカーによって手作業で構築され、検証される。 このサブセットでは、GPT-5.5、DeepSeek-V4-Pro、GLM-5.1を含むフロンティアのLLMが30.00--45.67%にしか達せず、BrowseCompから大幅に落ち込んだ。
  論文  参考訳（メタデータ） (2026-06-01T15:50:03Z)
• K-EXAONE Technical Report [76.23621600385238]
  K-EXAONEはLG AI Researchが開発した大規模多言語言語モデルである。 256Kのコンテキストウィンドウをサポートし、韓国語、英語、スペイン語、ドイツ語、日本語、ベトナム語をカバーしている。 我々はK-EXAONEを、推論、エージェント、一般、韓国語、多言語能力にまたがる総合的なベンチマークスイートで評価した。
  論文  参考訳（メタデータ） (2026-01-05T02:30:59Z)
• Open Ko-LLM Leaderboard2: Bridging Foundational and Practical Evaluation for Korean LLMs [7.924819546105335]
  我々は、以前のOpen Ko-LLM Leaderboardの改良版であるOpen Ko-LLM Leaderboard2を提案する。 オリジナルのベンチマークは、現実の能力とより密に整合した新しいタスクに完全に置き換えられている。 韓国語の特徴をよりよく反映するために、4つの新しい韓国語ベンチマークが導入されている。
  論文  参考訳（メタデータ） (2024-10-16T10:49:22Z)
• Error-Robust Retrieval for Chinese Spelling Check [43.56073620728942]
  Chinese Spelling Check (CSC)は、中国のコンテキストにおけるエラートークンの検出と修正を目的としている。 これまでの方法では、既存のデータセットを完全に活用できない場合がある。 そこで我々は,中国語スペルチェックのための誤り情報付きプラグ・アンド・プレイ検索手法を提案する。
  論文  参考訳（メタデータ） (2022-11-15T01:55:34Z)
• KLUE: Korean Language Understanding Evaluation [43.94952771238633]
  韓国語理解評価(KLUE)ベンチマークを紹介する。 KLUEは、韓国の8つの自然言語理解(NLU)タスクのコレクションである。 著作権を尊重しながら、さまざまなソースコーパスから、すべてのタスクをゼロから構築します。
  論文  参考訳（メタデータ） (2021-05-20T11:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。