論文の概要: Your Benchmark Is Not Saturated: Reviving Multiple-Choice Evaluation with Answer Pooling

• arxiv url: http://arxiv.org/abs/2609.37494v1
• Date: Mon, 28 Sep 2026 14:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.52667
• Title: Your Benchmark Is Not Saturated: Reviving Multiple-Choice Evaluation with Answer Pooling
• Title（参考訳）: ベンチマークは飽和していない:回答ポーリングで複数項目の評価を復活させる
• Abstract要約: マルチ選択ベンチマークは、グレードが安く、不在です。 私たちはAnswerPoolを提案します: コンテキストを共有する$N$の質問を受け取り、すべてのオプションを1つのリストにまとめ、モデルにその答えを割り当てるように頼みます。
• 参考スコア（独自算出の注目度）: 3.705718227493618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple-choice benchmarks are cheap to grade and are running out of room, and the standard remedy, writing harder items, is slow and repeated for every benchmark. A saturated benchmark still holds a harder task. Each question's wrong options are written for that question alone, so a model can score by eliminating a few options. We propose AnswerPool: take $N$ questions that share a context, pool all their options into one list, and ask the model to assign every question its answer. No item is written and no label changes. The chance of guessing a group right falls from $10^{-3}$ to $5\times10^{-7}$ for five four-option questions, and a model that recognizes its answers keeps its multiple-choice score, so the accuracy lost to pooling measures the credit the format gave for elimination. Deleting answers from the pool makes questions unanswerable with exact ground truth, so abstention is scored in the same pass. Across eight text, image, and video benchmarks and eighteen models, pooling is harder for every model, the elimination credit is largest for the weakest models, and seven of eight open-weight models answer 87 to 100% of unanswerable questions.
• Abstract（参考訳）: マルチ選択ベンチマークは、グレードが安く、部屋が空いているため、標準の治療法は、より難しい項目を書くことは、ベンチマーク毎に遅くて繰り返します。 飽和ベンチマークはいまだに難しい課題を抱えている。 各質問の間違った選択肢は、その質問だけのために書かれており、モデルがいくつかの選択肢を排除してスコアを付けることができる。 私たちはAnswerPoolを提案します: コンテキストを共有する$N$の質問を受け取り、すべてのオプションを1つのリストにまとめ、モデルにその答えを割り当てるように頼みます。 項目は書かれておらず、ラベルの変更もない。 正しいグループを推測する確率は、5つの4つのオプションの質問に対して$10^{-3}から$5\times10^{-7}に落ちる。 答えをプールから削除すると、正確な根拠の真理に答えられないため、同じパスで棄権される。 8つのテキスト、画像、ビデオのベンチマークと18のモデルにまたがって、プーリングはすべてのモデルにとって困難であり、最も弱いモデルでは排除クレジットが最大であり、8つのオープンウェイトモデルのうち7つのモデルは、解決不可能な質問の87から100%に答えている。

関連論文リスト

• Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B [0.0]
  言語モデルプランの作成、独自の回答の批判と書き直し、ミスの反映、いくつかの試みのベストの選択、あるいは自分自身のコピーで議論する方法は、ほとんどすべてが、単一の思考の連鎖よりもはるかに多くのテキストを生成する。 より多くのテキストを生成すると、それ自身で精度が上がるので、ある思考の連鎖の利得は、その方法のアイデアを示さない。
  論文  参考訳（メタデータ） (2026-07-30T17:38:23Z)
• When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling [0.0]
  人々は過度に考え、言語モデルは過度にサンプルされ、余分な努力は両方を悪く答えることができます。 本論文では, カットオフを, サンプリング実行が既に明らかにしている, 有効なサンプル数である1つの数に変換する。
  論文  参考訳（メタデータ） (2026-06-27T00:37:33Z)
• Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs [9.465306048183798]
  本稿では,解答安定性を評価するための制御プロトコルを提案する。 モデルが複数の選択問題に正しく答えた後、不正確な選択肢に対する一貫性のある議論でモデルに挑戦する。 自己貢献は相変わらずフリップ率を上昇させる。
  論文  参考訳（メタデータ） (2026-06-14T20:45:30Z)
• Self-Questioning Language Models [58.73276539661649]
  本稿では,提案者がトピックを与えられ,解答者に対する質問を生成する非対称なセルフプレイフレームワークを提案する。 提案者と解答者はともに強化学習を通じて訓練される。 3桁の乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題である。
  論文  参考訳（メタデータ） (2025-08-05T17:51:33Z)
• Answer Matching Outperforms Multiple Choice for Language Model Evaluation [35.90520208701438]
  人気のあるベンチマークから選択した複数の質問が、その質問を見ることなく答えられることがよくあります。 応答マッチングと呼ばれる手法による生成的評価について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:02Z)
• Measuring short-form factuality in large language models [50.15055025275888]
  本稿では,言語モデルが短い事実探索質問に答える能力を評価するベンチマークであるSimpleQAを提案する。 SimpleQAはGPT-4応答に対して逆向きに収集される。 SimpleQAの各回答は、正しいか、間違っているか、試みられていないかのどちらかとしてランク付けされる。
  論文  参考訳（メタデータ） (2024-11-07T01:58:42Z)
• Plausibly Problematic Questions in Multiple-Choice Benchmarks for Commonsense Reasoning [26.20942060088924]
  常識推論のための多重選択質問(MCQ)ベンチマークは、1つの正しい答えの難しい選択を必要とする。 サンプリングされたMCQの20%以上において、最も高い評価を得た回答選択は、ベンチマークゴールドの回答と一致しないことが判明した。
  論文  参考訳（メタデータ） (2024-10-06T19:04:24Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。