論文の概要: Reason, Reward, Refine: Step-Level Errors Corrections with Structured Feedback for Physics Reasoning in Small Language Models
- arxiv url: http://arxiv.org/abs/2607.05199v1
- Date: Mon, 06 Jul 2026 15:16:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.206627
- Title: Reason, Reward, Refine: Step-Level Errors Corrections with Structured Feedback for Physics Reasoning in Small Language Models
- Title（参考訳）: Reason, Reward, Refine:小型言語モデルにおける物理推論のための構造化フィードバックを用いたステップレベル誤差補正
- Abstract要約: 我々は,最初の推論誤差を特定し,対象とする構造化されたフィードバックを生成し,KL正則化によるポリシー勾配による解の修正を行うステップレベルの報酬フレームワークを提案する。
5つの物理ベンチマークで、我々のフレームワークはCoTのプロンプトよりも17-20%、最強のベースラインより10-16%の精度向上を実現し、計算誤差を56.9%から23.5%に削減し、最良のケースでは22.3%から12.0%に低減した。
- 参考スコア（独自算出の注目度）: 32.7643564019866
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physics reasoning fails structurally in small language models: an error at any step propagates forward, corrupting every inference that follows. Limited domain knowledge, hallucination under multi-step derivation, and distributional sensitivity compound this failure. We propose a step-level reward framework that identifies the first reasoning error, generates targeted structured feedback, and trains the model to revise its solution via policy gradient with KL regularization, without exposing it to ground truth solutions as generation targets. Unlike annotation-dependent step-level methods, no preference data construction is required and the external verifier operates exclusively at training time. Across five physics benchmarks, our framework delivers accuracy gains of 17-20% over CoT prompting and 10-16% over the strongest baseline, reduces calculation errors from 56.9% to 23.5%, and reduces miscomprehension errors from 22.3% to 12.0% in the best observed cases. Conceptual errors reduce from 89.7% to 68.7%, yet persist as the hardest failure mode across all conditions.
- Abstract（参考訳）: 物理推論は、小さな言語モデルで構造的に失敗する: どんなステップでもエラーが伝播し、次のすべての推論が崩壊する。
ドメイン知識の限定、多段階の導出による幻覚、分布感度は、この失敗を複雑にする。
そこで我々は,最初の推論誤差を識別し,対象とする構造化されたフィードバックを生成し,KL正則化によるポリシー勾配による解の修正を,真理解を生成ターゲットとして公開することなく行うステップレベルの報奨フレームワークを提案する。
アノテーションに依存したステップレベルメソッドとは異なり、好みのデータ構築は不要であり、外部検証器はトレーニング時にのみ動作する。
5つの物理ベンチマークで、我々のフレームワークはCoTのプロンプトよりも17～20%、最強のベースラインより10～16%の精度向上を実現し、計算誤差を56.9%から23.5%に削減し、最良のケースでは22.3%から12.0%に削減した。
概念的エラーは89.7%から68.7%に減少するが、全ての条件において最も困難な障害モードとして持続する。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models [0.00304396936267654]
大規模言語モデルは、手続き的コンプライアンスが重要である領域において、自信はあるがプロトコル非有意義な答えを生み出すことができる。
本稿では,決定論的ランタイムおよびオーサリング層であるAnswer Engineeringについて述べる。
本手法は,突発性感音難聴に対する臨床評価基準を用いて評価した。
論文 参考訳（メタデータ） (2026-06-19T05:47:44Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。
有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
論文 参考訳（メタデータ） (2026-05-18T20:06:04Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - On Semantic Loss Fine-Tuning Approach for Preventing Model Collapse in Causal Reasoning [0.0]
本研究は, 意味的損失を伴わない移動性およびd-セパレーションタスクを微調整したGemma 270Mが, 100%の崩壊率をもたらすことを示す。
本稿では,グラフに基づく論理的制約と動的スケジューリングを用いた意味損失関数を提案する。
論文 参考訳（メタデータ） (2026-05-06T20:54:30Z) - Verify Before You Fix: Agentic Execution Grounding for Trustworthy Cross-Language Code Analysis [0.0]
ソフトウェア脆弱性分析のための言語横断的な脆弱性ライフサイクルフレームワークを構築します。
89.84-92.02%の言語内検出精度,74.43-80.12%のゼロショット言語F1。
これらの結果は,LLM駆動型エージェントAIのための原理的かつ実用的に展開可能なメカニズムであることを示す。
論文 参考訳（メタデータ） (2026-04-12T20:22:23Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - Decomposing LLM Self-Correction: The Accuracy-Correction Paradox and Error Depth Hypothesis [6.901585308625979]
自己補正を3つのサブ機能に分解する。
本研究は,モデル能力と自己改善に関する線形仮定に挑戦する。
論文 参考訳（メタデータ） (2025-12-24T21:51:24Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。