論文の概要: RetroChessBench: A Benchmark for Reconstructing and Proving Chess Histories

• arxiv url: http://arxiv.org/abs/2610.39341v1
• Date: Thu, 29 Oct 2026 04:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.458519
• Title: RetroChessBench: A Benchmark for Reconstructing and Proving Chess Histories
• Title（参考訳）: RetroChessBench: チェスの歴史の再構築と証明のためのベンチマーク
• Abstract要約: 本稿では,RetroChessBenchについて紹介する。 タスクと条件の2つのトライアルでは、GPT 6 Astra Highは、ツールなしで22/24で、コード実行で18/24で、必要な最終回答を生成できない。 オンラインの逆行アーカイブは、詳細な派生なしにパズルや最後の移動シーケンスを提供することが多い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier language models such as GPT 6 Astra have contributed to research mathematics, demonstrating substantial reasoning capabilities. Yet serious reasoning failures persist even in tasks governed by explicit rules. We demonstrate this in retrograde chess which is a playground for pure reasoning, where solvers reconstruct legal histories and distinguish possible events from forced ones. We introduce RetroChessBench, a 12-task benchmark covering exact-length constructions, unique endings, and exhaustive answer sets, with references, rubrics, and a terminal-reward environment. In two trials per task and condition, GPT 6 Astra High fails to produce the required final answer in 22/24 attempts without tools and 18/24 with code execution; mean terminal RL rewards are 14.75% and 27.19%, respectively. The examples identify faulty deductions: failed responses reject legal histories and treat temporary obstructions as permanent. Online retrograde archives often provide puzzles and final move sequences without detailed derivations. We hypothesize that limited exposure to these missing explanations in web-derived training data contributes to the observed reasoning failures. This questions how far frontier mathematical reasoning really generalizes beyond familiar solution patterns. Claims of general intelligence require evidence that models can transfer learnt principles to areas with few worked examples.
• Abstract（参考訳）: GPT 6 Astraのような最前線言語モデルは数学の研究に貢献し、相当な推論能力を示している。 しかし、重大な推論失敗は、明示的なルールによって管理されたタスクでも継続する。 我々はこれを、純粋推論の場である逆行チェスにおいて示し、解決者は法的な歴史を再構築し、強制的な出来事と区別する。 我々はRetroChessBenchという12タスクのベンチマークを紹介した。 タスク毎の2つのトライアルでは、GPT 6 Astra Highはツールなしで22/24回、コード実行で18/24回、それぞれ14.75%と27.19%である。 失敗した反応は法的な歴史を拒絶し、一時的な障害を永久的に扱う。 オンラインの逆行アーカイブは、詳細な派生なしにパズルや最後の移動シーケンスを提供することが多い。 ウェブからのトレーニングデータに欠落した説明に限定された露出は、観察された推論失敗に寄与する、という仮説を立てる。 この問題は、フロンティアの数学的推論が、よく知られた解パターンを超えていかに一般化するかである。 一般知能の主張は、モデルが学習原則を少数の実例のある領域に移すことができるという証拠を必要とする。

関連論文リスト

• EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
  EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。 人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。 破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
  論文  参考訳（メタデータ） (2026-09-30T08:33:17Z)
• Agentic Synthesis against Counterexample-Supplemented Sketches [0.0]
  コーディングエージェントは、フェールさせたドメインルールを保存することなく、フェールした例を修正することができる。 本稿では,反例補足スケッチに対するエージェント合成について述べる。
  論文  参考訳（メタデータ） (2026-07-17T11:11:13Z)
• LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
  検証可能な報酬(RLVR)による強化学習は,この課題を約束している。 既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。 textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-05-29T17:51:40Z)
• Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
  不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。 GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。 GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
  論文  参考訳（メタデータ） (2026-04-21T16:45:29Z)
• How Much Thinking is Enough? Quantifying and Understanding Redundancy in LLM Reasoning [11.159657169036564]
  推論可能な大きな言語モデルは、長いチェーンの思考を出力することで難しい問題を解決する。 しかし、この議論のどれ程が実際に必要かは、スケールで測定されることも、第一原理から説明されることもない。 我々は推論モデル自体の観点で推論冗長性を直接定式化する。
  論文  参考訳（メタデータ） (2026-04-21T05:32:02Z)
• When and Why Does Unsupervised RL Succeed in Mathematical Reasoning? A Manifold Envelopment Perspective [23.239530219575936]
  結果に基づく強化学習(RL)は大規模言語モデル(LLM)の数学的推論能力を著しく向上させる 計算コストのかかる地平線アノテーションに依存しているため、スケーラビリティの重大なボトルネックが生じる。 内在的な報酬によって導かれる教師なしのRLは、スケーラブルな代替手段を提供する。
  論文  参考訳（メタデータ） (2026-03-17T14:29:38Z)
• Boule or Baguette? A Study on Task Topology, Length Generalization, and the Benefit of Reasoning Traces [31.37944377681284]
  命題論理における2300万以上の文とそれに対応する証明のデータセットであるPITAを使用します。 RTモデルは広小部分集合と浅小部分集合でよく一般化され、非RTベースラインに対して狭小部分集合と深小部分集合では劣化する。 我々の理論は、RTモデルが深いタスクでどれだけうまく機能するかを制限する基本的なスケーリングを示唆し、幅広いタスクでそれらの一般化の強みを強調している。
  論文  参考訳（メタデータ） (2026-02-16T02:20:37Z)
• DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning [26.142347272743496]
  正しい答えは正しい推論を保証するものではない。 深い推論の限界を推し進めるためには、数学的推論の包括性と厳密さを検証する必要があると信じている。 我々のモデルであるDeepSeekMath-V2は、IMO 2025とCMO 2024のゴールドレベルスコア、Patnam 2024のほぼ完璧な118/120のスケールされたテストタイム計算を達成し、強力な定理証明能力を示す。
  論文  参考訳（メタデータ） (2025-11-27T16:01:22Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)
• Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning [50.114651561111245]
  モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。 我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。 実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
  論文  参考訳（メタデータ） (2020-05-02T11:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。