論文の概要: What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks

• arxiv url: http://arxiv.org/abs/2609.19182v1
• Date: Tue, 15 Sep 2026 13:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.934074
• Title: What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks
• Title（参考訳）: LLMに何が期待できるのか? LLMベンチマークの設計をマッピングする
• Abstract要約: 我々は,2022年1月から2026年8月までに,arXivによる評価資料の紹介や更新を行う14,767の論文を体系的にマッピングした。 対象システムや領域の変化,評価材料や条件,スコアリング機構について検討する。 このコレクションは、アクション、インタラクション、プロフェッショナルなアプリケーションに重点を置いている一方で、確立された新しいデザイン要素はしばしば共存している。
• 参考スコア（独自算出の注目度）: 2.579369112489757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmarks are central to how progress in large language models (LLMs) is assessed and communicated. Yet model rankings alone reveal little about how evaluation requirements themselves are changing. The expanding variety of benchmarks offers another perspective: what researchers expect LLMs to do, and what they count as successful performance. We systematically map 14,767 papers introducing or updating evaluation resources from arXiv submissions between January 2022 and August 2026. Using staged screening and automated full-text coding, we examine changes in target systems and domains, evaluation materials and conditions, and scoring mechanisms. The collection shows growing emphasis on action, interaction, and professional applications, while established and newer design elements frequently coexist. Model participation also develops unevenly: LLM-based scoring grows within both agent and non-agent groups, whereas model-generated materials show no comparable sustained increase in recent cohorts. These findings illuminate how public research translates capability expectations into concrete tests and criteria for success. As AI participates in constructing tests, performing tasks, and judging responses, they also raise a question: does expanding evaluation provide more independent evidence, or risk reproducing the preferences and blind spots of its participating models?
• Abstract（参考訳）: ベンチマークは、大規模言語モデル(LLM)の進捗がどのように評価され、通信されるかの中心である。 しかし、モデルランキングだけでは、評価要件自体がどう変化しているかは明らかになっていない。 様々なベンチマークは、研究者がLLMに何を期待しているか、そして彼らがパフォーマンスを成功とみなすものは何かという、別の視点を提供する。 我々は,2022年1月から2026年8月までに,arXivによる評価資料の紹介や更新を行う14,767の論文を体系的にマッピングした。 段階的スクリーニングと全文自動符号化を用いて,対象システムや領域の変化,評価材料や条件,スコアリング機構について検討する。 このコレクションは、アクション、インタラクション、プロフェッショナルなアプリケーションに重点を置いている一方で、確立された新しいデザイン要素はしばしば共存している。 LLMに基づくスコアリングはエージェント群と非エージェント群の両方で増加するが、モデル生成物質は最近のコホートにおいて同等に持続的な増加を示さない。 これらの知見は、公的研究が能力の期待を具体的なテストと成功の基準にどのように変換するかを照らしている。 AIがテストの構築、タスクの実行、応答の判断に参加すると、彼らは疑問を提起する: 評価の拡大はより独立した証拠を提供するか、あるいは、参加するモデルの好みや盲点を再現するリスクがあるか?

関連論文リスト

• Unsteady Metrics and Benchmarking Cultures of AI Model Builders [0.2238062620016784]
  Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。 我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
  論文  参考訳（メタデータ） (2026-05-13T22:39:10Z)
• Large language models for post-publication research evaluation: Evidence from expert recommendations and citation indicators [2.952559770088323]
  大規模言語モデル(LLM)は、テキストコンテンツに基づいた自動研究評価のための新たな機会を提供する。 本研究では,LLMが専門家の判断や引用に基づく指標に対して出力をベンチマークすることで,ポストパブリケーションのピアレビュータスクをサポートできるかを検討する。
  論文  参考訳（メタデータ） (2026-03-27T11:32:18Z)
• Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
  大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。 本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。 その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
  論文  参考訳（メタデータ） (2025-04-13T10:46:13Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
  大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。 包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。 私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。 まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-10-31T17:04:59Z)
• TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
  大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。 既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。 垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。