論文の概要: Does CoT-Pass@k Really Check the CoT? A Multilingual Mathematical Audit

• arxiv url: http://arxiv.org/abs/2609.32622v1
• Date: Sat, 26 Sep 2026 13:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:56:03.838215
• Title: Does CoT-Pass@k Really Check the CoT? A Multilingual Mathematical Audit
• Title（参考訳）: CoT-Pass@kは本当にCoTをチェックするのか?
• Abstract要約: Pass@kは、繰り返しサンプリングされたモデルが正しい答えに達するかどうかを計測する。 CoT-Pass@kは、ソリューションの推論チェーンを評価する必要があるLCM-as-judgeを追加して、そのギャップを埋めるために提案された。 この検証手順の最初の監査を報告し、英語、トルコ語、ポルトガル語の5つの数学ベンチマークからなる多言語スイート上でメートル法独自のプロトコルの下で実行します。
• 参考スコア（独自算出の注目度）: 2.1544260068821477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pass@k measures whether a model reaches a correct answer under repeated sampling, but never how: a lucky guess counts the same as sound reasoning. CoT-Pass@k was proposed to close that gap, adding an LLM-as-judge that must assess a solution's reasoning chain before it counts. Its value rests entirely on one assumption: that the judge catches flawed reasoning. That assumption has never been tested inside the metric that depends on it, and never outside English, though the metric's claims concern models used in many languages. We report the first audit of that verification step, run under the metric's own protocol on a multilingual suite of five mathematical benchmarks in English, Turkish and Portuguese, two of them natively written. We corrupt correct solutions with deterministic edits that damage the chain and the final answer separately. We observe that all three judges accept corrupted chains almost as often as clean ones. V4-Flash and Qwen3.6 reject a solution sharply only when its final answer is wrong and accept a wrong answer more readily when the chain agrees with it; the metric's own judge accepts most wrong answers as well. Our study shows that chain-answer agreement dominates the two larger judges' verdicts and that all three fail to reliably detect the tested reasoning errors. Consequently the difference Pass@k - CoT-Pass@k averages 19.7 points on an earlier solver generation but only 4.1 on the current one. What little remains depends on the token budgets on both sides and on the generation mode; raising the generation budget moves Pass@64 by more than fifty points while the difference stays at zero. We close with two checks any judged reasoning metric should pass before its numbers are read as evidence about reasoning.
• Abstract（参考訳）: Pass@kは、繰り返しサンプリングされたモデルが正しい答えに達するかどうかを計測します。 CoT-Pass@kは、ソリューションの推論チェーンを評価する必要があるLCM-as-judgeを追加して、そのギャップを埋めるために提案された。 その価値は、裁判官が欠陥のある推論をキャッチする、という1つの仮定に完全に依存している。 この仮定は、それに依存する計量の中では決してテストされておらず、英語以外ではテストされていないが、計量の主張は多くの言語で使われているモデルに関するものである。 この検証ステップの最初の監査を報告し、英語、トルコ語、ポルトガル語の5つの数学ベンチマークからなる多言語スイート上でメートル法独自のプロトコルの下で実行し、そのうちの2つをネイティブに記述した。 我々は、連鎖と最終回答を別々に破壊する決定論的編集で正しい解を破損した。 3人の裁判官全員が、汚い鎖をほぼ同じ頻度で受け入れているのを観察する。 V4-Flash と Qwen3.6 は、最終解が間違っている場合にのみ、解を激しく拒絶し、連鎖がそれに同意した時に、より容易に間違った解を受け入れる。 我々の研究は、チェーン・アンサー・コンセンサス(英語版)が2つの大きな裁判官の判断を支配しており、3つ全てがテストされた推論エラーを確実に検出できないことを示している。 その結果、Pass@k - CoT-Pass@k の差は、以前のソルバ生成では19.7ポイント、現在の値では4.1ポイントである。 世代予算を上げることは、Pass@64を50ポイント以上動かし、差はゼロに保ちます。 我々は、その数字が推論に関する証拠として読まれる前に、判断された推論基準が通るべき2つのチェックを近づいた。

関連論文リスト

• More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges [4.167333498582309]
  言語モデルをそれ自身の参照なし判断に対して訓練することは、モデルが答えの正しさを判断することを前提にしている。 候補者に条件付きで、裁判官は正当性ではなく妥当性をスコアし、政策が悪用することを学習する偽陽性の盆地を残す。
  論文  参考訳（メタデータ） (2026-07-07T06:59:30Z)
• Semantic Early-Stopping for Iterative LLM Agent Loops [0.0]
  連続したドラフト埋め込みが意味を変えるのをやめたとき、ループは停止する。 各質問の完全な軌道を一度生成し、同じドラフトに対してすべての停止ポリシーを再生し、全てのLM-judgeコールをキャッシュします。 最良のラウンドを選択するオラクルは、すべての実用政策に対して+0.115インフォメーションスコアを得る。
  論文  参考訳（メタデータ） (2026-06-25T13:24:21Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Reliable Chain-of-Thought via Prefix Consistency [6.053609157192373]
  正しい回答を持つトレースは、間違った回答を持つトレースよりも、元の回答を頻繁に再現する。 この違いを信頼性信号、プレフィックス一貫性として使用し、各候補の回答を再生の頻度によって重み付けします。
  論文  参考訳（メタデータ） (2026-05-08T12:28:05Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。