論文の概要: Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

• arxiv url: http://arxiv.org/abs/2608.02442v1
• Date: Mon, 03 Aug 2026 16:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.703479
• Title: Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks
• Title（参考訳）: 正しい答え, 間違った方法: ショートカットハッキングは、フロンティア科学ベンチマークにおけるLLM推論の評価を誤解させる
• Abstract要約: 我々は、LLMが不正なショートカットによって正しい回答に達する障害モードであるソリューションハックを識別する。 我々は,自動判定やテストタイムの指導を含む,専門家にインスパイアされたアンチハック戦略を開発する。
• 参考スコア（独自算出の注目度）: 3.3243946853975346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific reasoning benchmarks typically evaluate large language models (LLMs) using final-answer accuracy. However, a correct answer does not necessarily demonstrate the reasoning capability targeted by the problem. We identify Solution Hacking, a failure mode in which an LLM reaches the correct answer through invalid shortcuts, such as numerical search, enumeration, guessing, or answer-first verification, without providing a valid task-targeted derivation. We systematically analyze this phenomenon across difficulty levels, scientific domains, and frontier models. Solution hacking increases sharply with benchmark difficulty, from 2.2\% on common problems to 28.3\% on Olympiad-level problems and 37.4\% on HLE. Moreover, 8.2\%-44.1\% of answers credited as correct across frontier models are identified as hacked solutions. We further develop expert-inspired anti-hacking strategies, including an automatic judge and a test-time instruction. The results show that suppressing shortcut behavior substantially reduces reported accuracy while having a smaller effect on correct and non-hacked accuracy. These findings reveal that answer-only evaluation can overestimate the scientific reasoning capabilities of frontier LLMs.
• Abstract（参考訳）: 科学的推論ベンチマークは通常、最終回答精度を用いて大きな言語モデル(LLM)を評価する。 しかし、正しい答えは必ずしも問題に照らされた推論能力を示すものではない。 本稿では,数値探索,列挙,推測,解ファースト検証などの不正なショートカットによって,LLMが正しい解に到達した障害モードである解ハックを,有効なタスク対象の導出を提供することなく同定する。 我々は、難易度、科学的領域、フロンティアモデルにまたがるこの現象を体系的に分析する。 一般的な問題では2.2\%、オリンピアードレベルの問題では28.3\%、HLEでは37.4\%となっている。 さらに、フロンティアモデル全体で正しいとされる回答の8.2\%-44.1\%がハックされたソリューションとして認識されている。 我々はさらに,自動判定やテストタイムの指導を含む,専門家にインスパイアされたアンチハック戦略を開発する。 その結果, ショートカット動作の抑制は, 報告された精度を著しく低下させ, 精度が低下し, 精度が低下することがわかった。 これらの結果から,フロンティアLSMの科学的推論能力を過大評価できることがわかった。

関連論文リスト

• Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models [16.90017128904664]
  大規模言語モデル(LLM)における推論誤りを正確に修正するための効率的なヒューマン介入機構を提案する。 提案手法により,元の応答を直接編集し,正確な推論手順を保ちながら誤箇所の修正を可能にする。 本手法は,修正成功率を25%以上改善し,STEMタスク推論においてトークン使用率を約40%削減する。
  論文  参考訳（メタデータ） (2026-07-15T17:16:43Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• Can LLMs Correct Themselves? A Benchmark of Self-Correction in LLMs [57.10533368622962]
  大規模言語モデル(LLM)の自己補正は、推論性能を高める重要な要素として現れる。 本研究では,自己補正戦略の有効性を評価するためのベンチマークであるCorrectBenchを紹介する。 その結果,1) 自己補正手法は, 複雑な推論タスクにおいて, 精度を向上させることが可能であり, 2) 異なる自己補正戦略の混合により, 効率は低下するものの, さらなる改善がもたらされることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-17T02:40:19Z)
• Hard2Verify: A Step-Level Verification Benchmark for Open-Ended Frontier Math [80.46254366870447]
  私たちは500時間以上の人的労力で生成された段階レベルの検証ベンチマークであるHard2Verifyを紹介します。 我々は29人の生成的批評家とプロセス報酬モデルを評価し、いくつかの点を超えて、オープンソースの検証者がクローズドソースモデルを評価することを実証した。
  論文  参考訳（メタデータ） (2025-10-15T16:50:54Z)
• Right Is Not Enough: The Pitfalls of Outcome Supervision in Training LLMs for Math Reasoning [35.142294794883455]
  細粒度アノテーションを持つ新しいデータセットであるMathOlympiadEvalを導入し、LLMの回答の正しさとプロセスの正しさの間に大きなギャップがあることを明らかにした。 LLM-as-a-judgeのような既存の自動化手法は、これらの推論の欠陥を確実に検出するのに苦労する。 そこで我々はParaStepVerifierを提案する。ParaStepVerifierは数学的解の厳密なステップバイステップ検証のための新しい手法である。
  論文  参考訳（メタデータ） (2025-06-07T17:54:56Z)
• FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
  FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。 状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。 状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:23:25Z)
• Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。