論文の概要: Redefining Evaluation Standards: A Unified Framework for Evaluating the Korean Capabilities of Language Models
- arxiv url: http://arxiv.org/abs/2503.22968v3
- Date: Sun, 29 Jun 2025 09:50:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 15:08:39.236217
- Title: Redefining Evaluation Standards: A Unified Framework for Evaluating the Korean Capabilities of Language Models
- Title（参考訳）: 評価基準の再定義:韓国語の言語モデルの能力評価のための統一フレームワーク
- Authors: Hanwool Lee, Dasol Choi, Sooyong Kim, Ilgyun Jung, Sangwon Baek, Guijin Son, Inseon Hwang, Naeun Lee, Seunghyeok Hong,
- Abstract要約: 我々は,韓国のアセスメントを統合するオープンソースのレジストリベースのフレームワークであるHRET(Haerae Evaluation Toolkit)を紹介する。
HRETは、主要な韓国のベンチマーク、複数の推論バックエンド、マルチメソッド評価を統合している。
モジュール化されたレジストリ設計により、新しいデータセット、メソッド、バックエンドの迅速な取り込みが可能になる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advancements in Korean large language models (LLMs) have driven numerous benchmarks and evaluation methods, yet inconsistent protocols cause up to 10 p.p performance gaps across institutions. Overcoming these reproducibility gaps does not mean enforcing a one-size-fits-all evaluation. Rather, effective benchmarking requires diverse experimental approaches and a framework robust enough to support them. To this end, we introduce HRET (Haerae Evaluation Toolkit), an open-source, registry-based framework that unifies Korean LLM assessment. HRET integrates major Korean benchmarks, multiple inference backends, and multi-method evaluation, with language consistency enforcement to ensure genuine Korean outputs. Its modular registry design also enables rapid incorporation of new datasets, methods, and backends, ensuring the toolkit adapts to evolving research needs. Beyond standard accuracy metrics, HRET incorporates Korean-focused output analyses-morphology-aware Type-Token Ratio (TTR) for evaluating lexical diversity and systematic keyword-omission detection for identifying missing concepts-to provide diagnostic insights into language-specific behaviors. These targeted analyses help researchers pinpoint morphological and semantic shortcomings in model outputs, guiding focused improvements in Korean LLM development.
- Abstract（参考訳）: 韓国の大規模言語モデル(LLM)の最近の進歩は、多数のベンチマークや評価手法を駆り立てているが、一貫性のないプロトコルは、機関間でパフォーマンスのギャップを最大10 ppまで引き起こしている。
これらの再現性ギャップを克服することは、すべての評価を1サイズで実施するという意味ではない。
むしろ効果的なベンチマークには、多様な実験的アプローチと、それらをサポートするのに十分な堅牢なフレームワークが必要である。
そこで我々は,韓国のLLMアセスメントを統合するオープンソースのレジストリベースのフレームワークHRET(Haerae Evaluation Toolkit)を紹介した。
HRETは、主要な韓国のベンチマーク、複数の推論バックエンド、およびマルチメソッド評価を統合し、真の韓国の出力を保証するために、言語の一貫性を強制する。
モジュラーレジストリの設計は、新しいデータセット、メソッド、バックエンドの迅速な取り込みを可能にし、ツールキットが研究ニーズの進化に合わせていることを保証する。
HRETは、標準精度の指標以外にも、韓国に焦点をあてたアウトプット分析-モルフォロジーを意識したタイプトケン比(TTR)を導入し、語彙の多様性を評価し、欠落した概念を識別するための体系的なキーワード・オミッションの検出を行い、言語固有の行動に関する診断的洞察を提供する。
これらの対象分析は、研究者がモデル出力における形態学的および意味的欠点を指摘し、韓国のLLM開発における焦点を絞った改善を導くのに役立つ。
関連論文リスト
- Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。
LLMの能力を評価するにはベンチマーク評価が不可欠である。
論文 参考訳（メタデータ） (2025-02-13T03:43:33Z) - The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance? [1.3810901729134184]
大きな言語モデル(LLM)は、真の言語理解と適応性を示すのに失敗しながら、標準化されたテストで優れている。
NLP評価フレームワークの系統的解析により,評価スペクトルにまたがる広範囲にわたる脆弱性が明らかになった。
我々は、操作に抵抗し、データの汚染を最小限に抑え、ドメイン固有のタスクを評価する新しい評価方法の土台を築いた。
論文 参考訳（メタデータ） (2024-12-02T20:49:21Z) - MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。
MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。
インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
論文 参考訳（メタデータ） (2024-10-14T04:15:00Z) - FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。
また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
論文 参考訳（メタデータ） (2024-07-01T02:20:28Z) - DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。
これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。
本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文 参考訳（メタデータ） (2024-05-24T08:12:30Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - MERA: A Comprehensive LLM Evaluation in Russian [43.02318109348788]
基礎モデルを評価するために,ロシア語アーキテクチャ(MERA)ベンチマークのオープンなマルチモーダル評価を導入する。
ベンチマークには、11のスキルドメインで生成モデルを評価する21のタスクが含まれている。
本稿では,評価手法,MERA評価のためのオープンソースコードベース,提案システムを備えたリーダボードを提案する。
論文 参考訳（メタデータ） (2024-01-09T12:55:21Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z) - AlignBench: Benchmarking Chinese Alignment of Large Language Models [99.24597941555277]
中国語大言語モデルのアライメントを評価するための総合ベンチマークであるAlignBenchを紹介する。
我々は,8つの主要なカテゴリ,683の実シナリオ根付きクエリ,およびそれに対応する人間の検証基準を含む,ループ内データキュレーションパイプラインを設計する。
自動評価には,Chain-of-Thoughtを用いた多次元LCM-as-Judgecitezheng2023アジュジング手法を用いて説明と最終評価を生成する。
論文 参考訳（メタデータ） (2023-11-30T17:41:30Z) - Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。
FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。
その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文 参考訳（メタデータ） (2023-07-13T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。