論文の概要: The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer

• arxiv url: http://arxiv.org/abs/2606.17609v1
• Date: Tue, 16 Jun 2026 07:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.325137
• Title: The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer
• Title（参考訳）: ベンチマークのイラシオン:実行済みのLLMは複数の選択をパスできるが、回答に失敗する
• Abstract要約: 大規模な言語モデルはメモリ使用量と推論コストを削減しますが、標準ベンチマークが見逃す障害も発生します。 正しい答えが消去されるのか、それとも、上位の出力として答えが生成しにくくなるのか? ベンチマークの錯覚を見いだす。高いスパーシティプルーニング(特にワンダ)の下では、モデルは、複数のスコアで正しい答えを選択しながら、欲張りのオープンジェネレーションで失敗することが多い。
• 参考スコア（独自算出の注目度）: 14.274182889933272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compressing large language models reduces memory use and inference cost, but it can also create failures that standard benchmarks miss. A pruned model may still perform well on multiple-choice evaluations, yet fail to answer the same question in open generation. We ask what pruning changes: does it erase the correct answer, or does it make the answer harder to produce as the top output? We study this question with multilingual question answering, tracking the same questions before and after pruning. We find a benchmark illusion. Under high-sparsity pruning, especially Wanda, models often fail in greedy open generation while still selecting the correct answer under multiple-choice scoring. In these recognition-only errors, the answer is usually not gone, but demoted: it often reappears with beam search, sampling, or one in-context example. Overall, multiple-choice benchmarks can overstate the usability of compressed LLMs, creating an evaluation blind spot. Compressed models should be tested on what they can produce, not only on what they can recognize.
• Abstract（参考訳）: 大きな言語モデルを圧縮することで、メモリ使用量と推論コストが削減されるが、標準ベンチマークが見逃す障害も発生させる。 刈り取られたモデルは、多重選択評価において依然としてよく機能するが、オープン世代では同じ質問に答えることができない。 正しい答えが消去されるのか、それとも、上位の出力として答えが生成しにくくなるのか? 我々は,この質問を複数言語による質問応答を用いて調査し,その前後で同じ質問を追尾する。 ベンチマークの錯覚を見つけます。 高スパーシティプルーニング(特にワンダ)の下では、モデルは、複数のスコアで正しい答えを選択しながら、ひどいオープンジェネレーションで失敗することが多い。 これらの認識のみのエラーでは、解答は通常消えることはないが、復調される:ビームサーチ、サンプリング、あるいは1つのインコンテキストの例によって、しばしば再現れる。 全体として、複数選択ベンチマークは圧縮LDMのユーザビリティを誇張し、評価盲点を生み出すことができる。 圧縮モデルは、認識できるものだけでなく、生成できるものでもテストされるべきです。

関連論文リスト

• When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling [0.0]
  人々は過度に考え、言語モデルは過度にサンプルされ、余分な努力は両方を悪く答えることができます。 本論文では, カットオフを, サンプリング実行が既に明らかにしている, 有効なサンプル数である1つの数に変換する。
  論文  参考訳（メタデータ） (2026-06-27T00:37:33Z)
• Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
  本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
  論文  参考訳（メタデータ） (2026-05-18T16:45:13Z)
• Benchmarking Deflection and Hallucination in Large Vision-Language Models [25.176271096443482]
  既存のベンチマークでは、視覚的証拠とテキスト的証拠の衝突を見落としている。 多様なマルチモーダル検索設定にまたがる2,775個のサンプルのベンチマークであるVLM-DeflectionBenchを紹介する。 私たちの結果は、モデルが知っていることだけでなく、そうでないときにどのように振る舞うかを評価する必要性を強調します。
  論文  参考訳（メタデータ） (2026-04-13T20:22:22Z)
• Self-Questioning Language Models [58.73276539661649]
  本稿では,提案者がトピックを与えられ,解答者に対する質問を生成する非対称なセルフプレイフレームワークを提案する。 提案者と解答者はともに強化学習を通じて訓練される。 3桁の乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題である。
  論文  参考訳（メタデータ） (2025-08-05T17:51:33Z)
• Answer Matching Outperforms Multiple Choice for Language Model Evaluation [35.90520208701438]
  人気のあるベンチマークから選択した複数の質問が、その質問を見ることなく答えられることがよくあります。 応答マッチングと呼ばれる手法による生成的評価について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:02Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
  現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。 提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T09:28:36Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)
• A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
  ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。 教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。