論文の概要: Revealing what benchmark scores hide: Jointly measuring the breadth and reliability of LLM capabilities using accessibility profiles

• arxiv url: http://arxiv.org/abs/2610.24957v1
• Date: Sun, 18 Oct 2026 02:15:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:00:23.561761
• Title: Revealing what benchmark scores hide: Jointly measuring the breadth and reliability of LLM capabilities using accessibility profiles
• Title（参考訳）: ベンチマークスコアが隠すもの:アクセシビリティプロファイルを用いたLLM機能の広さと信頼性を共同測定する
• Abstract要約: 我々は、関心の量は1つの言葉の正確さではなく、調査のアクセシビリティであると主張している。 問い合わせにおけるアクセシビリティの分布は、正確さと既存の最高の、最悪の、または平均的なアクセシビリティスコアが崩壊する構造を明らかにしている。
• 参考スコア（独自算出の注目度）: 41.17236645999555
• License:
• Abstract: Language model benchmarks assign each question a single outcome from one fixed wording, even though the same underlying request can be expressed in many equivalent ways. We argue that the quantity of interest should therefore not be correctness on one wording, but the accessibility of an inquiry, which we define as the probability that a model succeeds across meaning-preserving formulations. The distribution of accessibility across inquiries reveals a structure that accuracy and existing best-, worst-, or average-case prompt scores collapse: how broadly a model's capabilities extend across inquiries and how dependably those capabilities can be elicited. Two models can have the same average performance while one succeeds across more inquiries unreliably and the other succeeds across fewer inquiries but more consistently, leading to opposite preferences depending on whether the task allows multiple retries until one success or when repeated consistent success is required. Across six benchmarks and more than twenty models, this tradeoff is common: for about half of the model pairs with nearly equal mean accessibility, which model looks better depends on whether one success across five formulations is enough or all five must succeed, quantities we call Access@5 and Reliable@5, respectively. For some pairs the two measures diverge significantly, by up to 10 points in opposite directions. Accessibility also reveals that scaling, reasoning, and prompt optimization can redistribute capability across inquiries in ways aggregate accuracy obscures, sometimes broadening the set of inquiries a model can succeed on while making success on them less repeatable. Accessibility turns formulation sensitivity from a nuisance into a measurable property of capability, distinguishing what a model can sometimes succeed on from what users can actually depend on.
• Abstract（参考訳）: 言語モデルベンチマークは、同じ基礎となる要求を多くの等価な方法で表現できるにもかかわらず、各質問に1つの固定された単語から1つの結果を与える。 したがって、関心の量は一つの単語に対する正当性ではなく、調査のアクセシビリティであり、モデルが意味保存の定式化を越えて成功する確率であると定義する。 問合せ間のアクセシビリティの分布は、正確さと既存のベスト、最悪の、または平均的なプロンプトスコアが崩壊する構造を明らかにしている。 2つのモデルは同じ平均的なパフォーマンスを持つことができ、一方はより多くの問い合わせで成功し、もう一方はより少ない問い合わせで成功し、他方はより一貫して成功し、タスクが1つの成功まで複数のリトライを許すか、あるいは連続的な成功が必要となるかによって反対の選好につながる。 6つのベンチマークと20以上のモデルにまたがって、このトレードオフは一般的である: 平均アクセシビリティがほぼ等しいモデルペアの約半数は、5つの定式化で1つの成功が十分か、5つすべて成功しなければならないか、それぞれAccess@5とReliable@5と呼ぶ量に依存しているように思われる。 いくつかの対について、2つの測度は、反対方向に最大10ポイントずつ大きく分岐する。 アクセシビリティはまた、スケーリング、推論、迅速な最適化が、精度を不明瞭に集約する方法で、複数の問い合わせにまたがる機能を再分配し、モデルが成功し得る質問の集合を広げると同時に、繰り返し不可能にすることを明らかにしている。 アクセシビリティーは、ニュアンスからの定式化の感度を測定可能な能力特性に変える。

関連論文リスト

• Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
  本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
  論文  参考訳（メタデータ） (2026-05-18T16:45:13Z)
• Two Failures of Self-Consistency in the Multi-Step Reasoning of LLMs [78.31625291513589]
  自己整合性は、解が複数のサブステップに対する解からなるタスクにおいて、有効な多段階推論の重要な基準であると主張する。 仮説的整合性と構成的整合性という,多段階推論において特に重要である2種類の自己整合性を提案する。 GPT-3/4モデルの複数変種は,多種多様なタスクにおける両タイプの整合性に不整合性を示すことを示した。
  論文  参考訳（メタデータ） (2023-05-23T17:25:59Z)
• Come Again? Re-Query in Referring Expression Comprehension [39.33970953722539]
  信頼度が低いときにモデルに助けを求めることを許すことで、一つの証拠に基づいて決定を下さなければならないという仮定を緩和する方法を示す。 その結果,全てのオブジェクトに対して最高の参照表現を提供することで,最大21.9%の精度が向上し,最初の参照表現を12%だけ再クエリすることで,この精度が一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-19T19:01:30Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。