論文の概要: ARCHER: From Rationale Imitation to Executable Reasoning in Small Language Models
- arxiv url: http://arxiv.org/abs/2611.18494v1
- Date: Fri, 13 Nov 2026 18:05:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:08.740553
- Title: ARCHER: From Rationale Imitation to Executable Reasoning in Small Language Models
- Title(参考訳): ARCHER:小さな言語モデルにおけるRationaleの模倣から実行可能な推論へ
- Abstract要約: ローカル、低コスト、プライバシに敏感なデプロイメントには、小さな言語モデルが魅力的だ。
textbfAction-trace textbfReinforcement for textbfCalculator-grounded textbfHierarchical textbfExecutable textbfReasoning。
- 参考スコア(独自算出の注目度): 2.026981582071019
- License:
- Abstract: Small language models are attractive for local, low-cost, and privacy-sensitive deployment, but they remain unreliable on mathematical reasoning tasks that require decomposition, exact computation, tool use, and verification. We introduce \textbf{ARCHER}: \textbf{A}ction-trace \textbf{R}einforcement for \textbf{C}alculator-grounded \textbf{H}ierarchical \textbf{E}xecutable \textbf{R}easoning, a two-stage framework for training small language models (SLMs) to produce executable and auditable reasoning trajectories. In the first stage, ARCHER compiles free-form chain-of-thought rationales into typed action traces containing reasoning steps, calculator calls, deterministic runtime observations, verification actions, and final answers. This shifts the supervision target from imitating explanatory text to learning a tool-grounded reasoning policy. In the second stage, ARCHER refines this policy through asymmetric hierarchical reinforcement learning, using grouped and conditionally gated trajectory rewards for answer correctness, tool grounding, process discipline, and trace alignment. Across five standard sub-10B backbones, ARCHER improves over the strongest tool-augmented baseline by 5.51 percentage points on macro-average across benchmark accuracies, including gains of 8.95 points on MATH-500 and 5.33 and 5.34 points on AIME-2024 and AIME-2025. Evaluations on two additional reasoning-specialized 7B backbones further show that executable grounding remains beneficial after reasoning-focused reinforcement learning or distillation. These results demonstrate that executable supervision and reward-guided behavioral refinement provide a general and effective training paradigm for compact mathematical reasoners.
- Abstract(参考訳): 小さな言語モデルは、ローカル、低コスト、プライバシに敏感なデプロイメントには魅力的だが、分解、正確な計算、ツールの使用、検証を必要とする数学的推論タスクには信頼できない。
本稿では,小言語モデル(SLM)をトレーニングするための2段階のフレームワークであるtextbf{A}ction-trace \textbf{R}einforcement for \textbf{C}alculator-grounded \textbf{H}ierarchical \textbf{E}xecutable \textbf{R}easoningを紹介する。
第一段階では、ARCHERは、推論ステップ、電卓呼び出し、決定論的ランタイム観察、検証アクション、最終回答を含む型付けされたアクショントレースに、自由形式の連鎖論理をコンパイルする。
これにより、監督対象は説明文の模倣から、ツールによる推論ポリシーの学習へとシフトする。
第2段階では、ARCHERは非対称階層的な強化学習を通じてこのポリシーを洗練し、回答の正しさ、ツールの接地、プロセスの規律、トレースアライメントのためのグループ化および条件付き軌道報酬を使用する。
5つの標準のサブ10Bバックボーンで、ARCHERは、AIME-2024 と AIME-2025 の8.95ポイント、MATH-500 の5.33ポイント、および AIME-2025 の5.34ポイントを含む、ベンチマークアキュラシーにおけるマクロ平均値の5.51ポイントを最強のツール強化ベースラインよりも改善している。
さらに2つの追加の推論特化7Bバックボーンの評価は、推論に焦点を絞った強化学習や蒸留後に実行可能な接地が有用であることを示している。
これらの結果から, 実効的な指導と報酬誘導行動改善が, コンパクトな数学的推論者に対して, 汎用的で効果的な訓練パラダイムを提供することが示された。
関連論文リスト
- Post-Training Large Language Models with LLMON [11.34962451661663]
LLMON(LLM Object Notation)は,データから命令を分離するフレームワークである。
我々は、一般向け4.6Bトークン、RAG(Retrieval-Augmented Generation)、ツールコールデータからなる大規模構造化トレーニングコーパスを構築する。
LLMON構造化監視により,間接的インジェクションベンチマークの攻撃成功率を53-100%から0.02-5.6%に低減し,汎用性を維持した。
論文 参考訳(メタデータ) (2026-10-28T00:56:01Z) - PotARCin: Multi-Dimensional Evaluation of Skill Acquisition in Abstract Reasoning Tasks [4.615968287396474]
Abstraction and Reasoning Corpus (ARC)は、AIモデルを評価するための重要なベンチマークとなっている。
標準ARC評価では、テスト入力に対して正しい出力グリッドを生成するという単一の能力しか考慮していない。
タスクの基本となる抽象ルールを5次元にわたって理解することでARCを拡張するベンチマークであるPotARCinを紹介する。
論文 参考訳(メタデータ) (2026-09-23T03:27:22Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳(メタデータ) (2026-06-17T17:54:04Z) - Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs [20.82580343824728]
最近の大規模言語モデル (LLM) は、多くの確立された数学的推論ベンチマークにおいて、ほぼ飽和の精度を達成している。
この飽和はテンプレートベースの計算と浅い算術分解の優位性に起因している。
本稿ではReasoningMath-Plusについて紹介する。
論文 参考訳(メタデータ) (2026-01-31T07:09:17Z) - Graph Reasoning Paradigm: Structured and Symbolic Reasoning with Topology-Aware Reinforcement Learning for Large Language Models [45.28250076657801]
Long Chain-of-Thought (LCoT) は,Large Language Models (LLM) の推論能力の向上に有効であることが証明されている。
RLVRベースの最適化にもかかわらず、既存の手法はいまだに粗大な監督、報酬のハッキング、高いトレーニングコスト、一般化の欠如に悩まされている。
ステップレベルの認知ラベルを持つグラフ構造化表現を用いて,構造化および記号的推論を実現するグラフ推論パラダイム(GRP)を提案する。
論文 参考訳(メタデータ) (2026-01-19T12:23:00Z) - Structured Reasoning for Large Language Models [59.215789462977206]
本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。
SCRは推論効率と自己検証を大幅に改善する。
既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
論文 参考訳(メタデータ) (2026-01-12T04:04:01Z) - TaTToo: Tool-Grounded Thinking PRM for Test-Time Scaling in Tabular Reasoning [77.01182934427095]
TaTTooは、ツールベースの検証を統合し、正確な報酬管理を提供する新しいテーブルグラウンドのPRMフレームワークである。
私たちはTTTooを2段階のパラダイムでトレーニングします。ツール使用推論パターンをキャプチャするために、コールドスタートの教師による微調整を行い、続いて強化学習を行い、私たちのモデルをテーブルベースの検証と整合させます。
論文 参考訳(メタデータ) (2025-10-07T17:59:41Z) - From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。
デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。
デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文 参考訳(メタデータ) (2025-09-27T08:59:31Z) - ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs [75.72672339168092]
本稿では,新しいトラジェクトリ対応PRMであるReasonFlux-PRMを紹介し,トラジェクトリ応答型推論トレースの評価を行う。
ReasonFlux-PRMはステップレベルとトラジェクトリレベルの両方の監視機能を備えており、構造化された連鎖データと整合した微粒な報酬割り当てを可能にする。
得られたReasonFlux-PRM-7Bは、教師付き微調整で平均12.1%、強化学習で4.5%、テスト時間スケーリングで6.3%向上した。
論文 参考訳(メタデータ) (2025-06-23T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。