論文の概要: Evaluating Multimodal Generative AI with Korean Educational Standards

• arxiv url: http://arxiv.org/abs/2502.15422v1
• Date: Fri, 21 Feb 2025 12:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:47.361978
• Title: Evaluating Multimodal Generative AI with Korean Educational Standards
• Title（参考訳）: 韓国教育標準によるマルチモーダル生成AIの評価
• Authors: Sanghee Park, Geewook Kim,
• Abstract要約: 韓国国立教育試験ベンチマーク(KoNET)は、マルチモーダル生成AIシステムを評価するために設計された新しいベンチマークである。 KoNETは、韓国初等教育開発試験(KoEGED)、中等教育開発試験(KoMGED)、高等教育試験(KoHGED)、高等教育能力試験(College Scholastic Ability Test(KoCSAT)の4つの試験からなる。
• 参考スコア（独自算出の注目度）: 3.8980564330208662
• License:
• Abstract: This paper presents the Korean National Educational Test Benchmark (KoNET), a new benchmark designed to evaluate Multimodal Generative AI Systems using Korean national educational tests. KoNET comprises four exams: the Korean Elementary General Educational Development Test (KoEGED), Middle (KoMGED), High (KoHGED), and College Scholastic Ability Test (KoCSAT). These exams are renowned for their rigorous standards and diverse questions, facilitating a comprehensive analysis of AI performance across different educational levels. By focusing on Korean, KoNET provides insights into model performance in less-explored languages. We assess a range of models - open-source, open-access, and closed APIs - by examining difficulties, subject diversity, and human error rates. The code and dataset builder will be made fully open-sourced at https://github.com/naver-ai/KoNET.
• Abstract（参考訳）: 本稿では,韓国国家教育試験を用いたマルチモーダル生成AIシステムの評価を目的とした,韓国国家教育試験ベンチマーク(KoNET)を提案する。 KoNETは、KoEGED、KoMGED、High(KoHGED)、College Scholastic Ability Test(KoCSAT)の4つの試験で構成されている。 これらの試験は厳格な基準と多様な質問で有名であり、異なる教育レベルのAIパフォーマンスを包括的に分析するのに役立つ。 KoNETは韓国語にフォーカスすることで、探索されていない言語でのモデルパフォーマンスに関する洞察を提供する。 私たちは、困難、主題の多様性、ヒューマンエラー率を調べることによって、さまざまなモデル(オープンソース、オープンアクセス、クローズドAPI)を評価します。 コードとデータセットのビルダーはhttps://github.com/naver-ai/KoNET.comで完全にオープンソース化される。

関連論文リスト

• CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings [70.95565672516979]
  LiveCodeBenchやUSACOといった既存のベンチマークは、プライベートテストケースの可用性の欠如、特別な審査員のサポートの欠如、不整合実行環境のために不足している。 CodeEloは標準化された競合レベルのコード生成ベンチマークで、これらすべての課題に初めて効果的に対処する。
  論文  参考訳（メタデータ） (2025-01-02T13:49:00Z)
• Open Ko-LLM Leaderboard2: Bridging Foundational and Practical Evaluation for Korean LLMs [7.924819546105335]
  我々は、以前のOpen Ko-LLM Leaderboardの改良版であるOpen Ko-LLM Leaderboard2を提案する。 オリジナルのベンチマークは、現実の能力とより密に整合した新しいタスクに完全に置き換えられている。 韓国語の特徴をよりよく反映するために、4つの新しい韓国語ベンチマークが導入されている。
  論文  参考訳（メタデータ） (2024-10-16T10:49:22Z)
• CJEval: A Benchmark for Assessing Large Language Models Using Chinese Junior High School Exam Data [31.324617466692754]
  CJEvalは中国の中学校のエクサム評価に基づくベンチマークである。 26,136個のサンプルから成っている。 このベンチマークを用いて,LLMの潜在的な応用性を評価し,その性能を総合的に分析した。
  論文  参考訳（メタデータ） (2024-09-24T16:00:28Z)
• SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark [42.91902601376494]
  本稿では,SceMQAについて紹介する。SceMQAは,大学入学レベルでの科学的マルチモーダル質問応答のための新しいベンチマークである。 SceMQAは数学、物理学、化学、生物学などの中核的な科学分野に焦点を当てている。 複数選択と自由応答の混在を特徴とし、AIモデルの能力を総合的に評価する。
  論文  参考訳（メタデータ） (2024-02-06T19:16:55Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models [0.0]
  HAE-RAE Benchは,韓国の文化的・文脈的深度に欠けるモデルに挑戦するためのデータセットである。 このデータセットは、語彙、歴史、一般的な知識、読み理解の4つの領域にまたがる6つの下流タスクを含んでいる。
  論文  参考訳（メタデータ） (2023-09-06T04:38:16Z)
• AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
  我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。 GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。 GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
  論文  参考訳（メタデータ） (2023-04-13T09:39:30Z)
• KOBEST: Korean Balanced Evaluation of Significant Tasks [3.664687661363732]
  自然言語処理(NLP)分野の進歩を加速させる上で,十分に構成されたベンチマークが重要な役割を担っている。 我々は,韓国語下流5つのタスクからなる重要なタスク(KoBEST)について,韓国語バランス評価という新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-04-09T20:13:51Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• GENIE: A Leaderboard for Human-in-the-Loop Evaluation of Text Generation [83.10599735938618]
  リーダーボードは、評価を標準化し、独立した外部リポジトリに委譲することで、多くのNLPデータセットのモデル開発を容易にしています。 本研究では、テキスト生成タスクにリーダーボードの容易さをもたらす人間評価リーダーボードであるGENIEを紹介します。
  論文  参考訳（メタデータ） (2021-01-17T00:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。