論文の概要: Attention-Graph Curvature for the Verification of Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2610.16709v1
• Date: Mon, 12 Oct 2026 12:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:44:59.203625
• Title: Attention-Graph Curvature for the Verification of Mathematical Reasoning
• Title（参考訳）: 数学的推論の検証のための注意グラフ曲率
• Abstract要約: 我々は,そのモデルの注意グラフの有向フォーマン曲率がステップの正しさに関する情報を伝達するかどうかを考察する。 曲率を追加することで、言語モデルの前方通過の時間が平均18%増加する。
• 参考スコア（独自算出の注目度）: 7.121639593705628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models have recently solved open Erdős problems and achieved gold-medal level performance on International Mathematical Olympiad problems. But their solutions, written in natural language, cannot yet be verified by proof assistants. An erroneous reasoning step can invalidate every step that comes after, so it is advantageous to detect errors early. Several methods have been proposed to detect erroneous reasoning quickly based on the features of the forward pass of the language model that performs reasoning. In this work, we study whether the directed Forman curvature of that model's attention graph, a local quantity computed at an edge from the attention weights around it, carries information about a step's correctness. To do so, we evaluate four per-step verifiers on ProcessBench with and without the curvature appended to their input. Appending curvature values improves the overall mean performance of all four verifiers. ReProbe, the verifier that takes every token of a step as input, shows the largest improvement. Adding the curvature increases the time of the language model's forward pass by 18% on average.
• Abstract（参考訳）: 言語モデルは近年エルデシュ問題を解き、国際数学オリンピックにおけるゴールド・メディカルレベルの性能を達成した。 しかし、自然言語で書かれたそれらの解はまだ証明アシスタントによって検証できない。 誤った推論ステップは、後続するすべてのステップを無効にすることができるため、早期にエラーを検出するのが有利である。 推論を行う言語モデルの前方通過の特徴に基づいて,誤推論を迅速に検出する手法が提案されている。 本研究では,そのモデルの注意グラフの有向フォーマン曲率,周囲の注意重みからエッジで計算された局所的量について検討し,ステップの正しさに関する情報を伝達する。 そこで我々はProcessBench上で,入力に曲率を付加することなく,ステップごとの検証を4つ評価した。 曲率値を適用することにより、4つの検証器全体の平均性能が向上する。 ステップのすべてのトークンを入力として取る検証器であるReProbeは、最大の改善点を示している。 曲率を追加することで、言語モデルの前方通過の時間が平均18%増加する。

関連論文リスト

• GRACE: Step-Level Benchmark for Faithful Reasoning over Context [43.250340595492275]
  Chain-of-Thoughtのプロンプトは透明に見える痕跡を生成するが、個々のステップは証拠から静かに逸脱する可能性がある。 GRACEは、データ駆動型エラー分類を用いた最初の人間によるステップレベルの忠実度ベンチマークである。 データ駆動分類法は、教師なしクラスタリングによってボトムアップを発見し、失敗を2つのトラックに編成する。
  論文  参考訳（メタデータ） (2026-06-15T03:11:23Z)
• Pessimistic Verification for Open Ended Math Questions [6.715841196629822]
  検証性能の重要な制限は、エラー検出の能力にある。 悲観的検証では、同じ証明に対して複数の並列検証を構築し、その1つが誤りを報告した場合、証明は誤りとみなされる。 この単純な手法は、かなりの計算資源を得ることなく、多くの数学検証ベンチマークで性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-11-26T15:52:52Z)
• ConciseRL: Conciseness-Guided Reinforcement Learning for Efficient Reasoning Models [14.403953640255823]
  強化学習フレームワークに報酬信号として用いられる新しいスコアを導入し、モデルが正確かつ簡潔な推論トレースを生成するよう誘導する。 このスコアは、ジャッジとして機能する大きな言語モデルによって評価され、単純なトークン長を超えて動的でコンテキスト対応のフィードバックを可能にする。 提案手法は,MATHデータセット上での最先端の効率・正確性トレードオフを実現し,簡単な問題ではトークン使用率を最大31倍に削減し,精度を7%向上させるとともに,最も難しい問題では,トークン使用率を最大3.6倍に抑えながら,完全な推論を+7.5%向上させる。
  論文  参考訳（メタデータ） (2025-05-22T19:56:35Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems [47.753284211200665]
  我々は、事前訓練段階に直接「エラー訂正」データを組み込むことの有用性を理解することに注力する。 このデータは、即座に修正された誤った解ステップで構成されている。 このタイプの事前学習データにより、言語モデルの推論精度の向上が期待できる。
  論文  参考訳（メタデータ） (2024-08-29T06:49:20Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。