論文の概要: Euston: Training Away Mathematical Sycophancy Without Losing the Mathematics
- arxiv url: http://arxiv.org/abs/2609.23205v1
- Date: Sat, 19 Sep 2026 20:26:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.727269
- Title: Euston: Training Away Mathematical Sycophancy Without Losing the Mathematics
- Title（参考訳）: Euston: 数学を失わずに数学のシクロファンシーを訓練する
- Abstract要約: Euston(ユーストン)は、8Bの数学的クレーム検証モデルである。
我々は4つのH100 GPUの189ステップに対して、ルールベースのゼロAPI報酬の下でGRPOでDeepSeek-R1-8Bを微調整した。
- 参考スコア（独自算出の注目度）: 9.39195684989942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning language models are trained to produce solutions, not to refuse them, and this bias persists when the problem they are handed is false. Asked to prove a corrupted theorem, a strong model will typically comply and produce a confident derivation of something untrue. We present Euston, an 8B mathematical claim-verification model trained to resist exactly this. Training data were generated with GraphSynth, a probabilistic factor-graph generator that couples attribute-level diversity to decode-time structural masking and span-synchronized verification, yielding 3{,}026 matched true/corrupted statement pairs (6,052 statements) drawn from arXiv papers spanning 2010--2025. We fine-tuned DeepSeek-R1-8B with GRPO under a rule-based, zero-API reward for 189 steps on four H100 GPUs. On a balanced 200-true/200-false held-out split, balanced accuracy rises from 29.50% to 63.75% and the discrimination gap---the difference between the rate of calling false statements false and the rate of calling true statements false moves from -0.5% (z=-0.1) to +27.5% (z=+6.0). Critically, the gain is not purchased with general mathematical ability: AIME 2026 accuracy under official semantics is 65.00% against a 69.17% base, a difference of -4.17% that is not statistically significant, whereas an earlier run of the same recipe on a smaller GraphSynth corpus collapsed to 40.00%. Median response length also falls from 19,217 to 18,296 tokens and the truncation rate from 25.8% to 8.3%, so the improvement does not come from thinking longer. We report the result together with the confounds that bound its interpretation, principally the all-false composition of the official evaluation sets and the low precision implied at realistic error prevalence.
- Abstract（参考訳）: 推論言語モデルは、それを拒否するのではなく、ソリューションを作成するために訓練され、このバイアスは、渡される問題が偽である場合に持続する。
腐敗した定理を証明するよう求められると、強いモデルは典型的に従い、不正確なものの確実な導出を生み出す。
正確には8Bの数学的クレーム検証モデルであるEustonを提示する。
GraphSynthは属性レベルの多様性をデコード時間構造マスキングとスパン同期検証に組み合わせ、2010-2025年のarXiv論文から得られた真/失敗文ペア(6,052文)と一致する3{,}026を生成する。
我々は4つのH100 GPUの189ステップに対して、ルールベースのゼロAPI報酬の下でGRPOでDeepSeek-R1-8Bを微調整した。
バランスの取れた200-true/200-falseのホールトアウト分割では、バランスの取れた精度は29.50%から63.75%に上昇し、識別ギャップは-偽文の呼び出し率と真文の呼び出し率の違いが-0.5%(z=-0.1)から+27.5%(z=+6.0)に移動する。
AIME 2026 の精度は 69.17% に対して 65.00% であり、統計的に有意ではない -4.17% の差がある。
中間応答長は19,217から18,296のトークンに減少し、切り離し率は25.8%から8.3%に減少している。
本報告では,その解釈,主に公式評価セットの完全偽合成と,現実的な誤りの頻度で示唆される低精度化とを関連づけた考察結果と合わせて報告する。
関連論文リスト
- Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories [1.3092549225920291]
表面形状と意味を意図的に分離した埋め込み検索の評価を行った。
数学では、失敗は完全である: 最も重い偽りの階層における厳密なhit@1は、両方のプロダクション埋め込みに対して0.0%である。
表面の変化が付随する軌道では、同じモデルが超幾何学的確率で着陸する。
論文 参考訳（メタデータ） (2026-09-01T17:19:57Z) - Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。
以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。
モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。
我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
論文 参考訳（メタデータ） (2026-09-01T14:57:59Z) - DeFAb: A Verifiable Benchmark for Defeasible Abduction in Foundation Models [6.628401122676601]
ルールベースの論理解法は、ベンチマークの全インスタンスを50マイクロ秒未満で100%精度で解決する。
データセットと生成パイプラインであるDeFAb(Defeasible Abduction Benchmark)を紹介します。
論文 参考訳（メタデータ） (2026-06-17T00:13:40Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models [0.0]
幻覚ベンチマークは、単一のエラーカウントを報告し、すべてのエラーを同等として扱うが、間違った日付と偽の裁判所判決は、桁違いに異なる。
Errorquake-10kは、8つのドメインと5つの難易度からなる連続的な0-4重度尺度で各応答をスコアするベンチマークである。
論文 参考訳（メタデータ） (2026-04-15T09:22:46Z) - LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。
新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。
このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
論文 参考訳（メタデータ） (2026-04-02T08:22:17Z) - Truth as a Compression Artifact in Language Model Training [0.0]
矛盾したデータに基づいて訓練された言語モデルは正しい答えを好むことを示す。
正解と誤解の両方で各数学的問題が現れるコーパス上で GPT-2 スタイルのモデルを訓練する。
エラーがランダムな場合、モデルは正しい信号を65%から85%の精度で抽出する。
論文 参考訳（メタデータ） (2026-03-12T09:52:38Z) - LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
本研究では,自然言語フィードバック型検証器Math-Minosを提案する。
実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-20T06:42:27Z) - Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。
拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文 参考訳（メタデータ） (2024-03-07T18:00:40Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。