論文の概要: Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data

• arxiv url: http://arxiv.org/abs/2610.18878v1
• Date: Thu, 01 Oct 2026 01:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.540284
• Title: Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data
• Title（参考訳）: 効率的な後学習のための逆推論モデルと解答専用データによる検証
• Abstract要約: 回答のみのデータを使用し、CoTを潜伏変数として扱う自己蒸留技術。 逆モデルは一度トレーニングされ、入ってくる応答専用データのバッチ間で再利用される。 ベスト・オブ・n$選択テスト時間に使用すると、Countdownで選択精度が0.753(多数投票)から0.969に上昇する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training reasoning LLMs often requires making a tradeoff between costly supervision and compute inefficiency: supervised finetuning typically requires reasoning traces, which is data inefficient since in many applications one only has prompt-answer tuples and lacks the groundtruth chain-of-thought (CoT) sequence. On the other hand, reinforcement learning (with verifiable rewards, for example) can operate without CoT data but it is much more compute-inefficient since it requires multiple autoregressive completions per optimization step, none of which are guaranteed to give a non-zero policy gradient. In this work we explore a middleground, a self-distillation technique that uses answer-only data, treating CoT as latent variables. This relies on training a partner ``inverse reasoning LLM" that generates the original's reasoning traces conditioned on the answer. The inverse model is trained once and reused across incoming batches of answer-only data, with all generation happening offline and up front, making the approach particularly suited to continual post-training. Using Qwen3-0.6B on the Countdown and GSM8K tasks, we show that after GRPO training has saturated, a single offline distillation round from the inverse model roughly doubles pass@1 on hard prompts and, on Countdown, outperforms rejection-sampling self-distillation on every hard-tail metric at every mix ratio (with smaller gains on GSM8K); rejection sampling by construction has no signal on problems the model never solves on its own. Continued GRPO on the fresh data retains an edge at hard pass@1 but trails distillation at pass@8 and pass@32 while regenerating rollouts at every step. As an added bonus we see that the inverse model has a second application as an accurate verifier of correctness. When used for best-of-$n$ selection at test time, it raises selection accuracy on Countdown from 0.753 (majority voting) to 0.969.
• Abstract（参考訳）: 教師付き微調整は典型的には推論のトレースを必要とするが、これは多くのアプリケーションではプロンプト・アンサー・タプルしか持たず、基礎的なチェーン・オブ・シークエンス(CoT)シーケンスを欠いているため、データ非効率である。 一方、強化学習(例えば、検証可能な報酬を含む)はCoTデータなしで動作することができるが、最適化ステップ毎に複数の自己回帰補完を必要とするため、より計算非効率である。 本研究では、回答のみのデータを使用し、CoTを潜伏変数として扱う自己蒸留技術である中間層を探索する。 これは、答えに条件付けされた元の推論トレースを生成するパートナー ‘`inverse reasoning LLM' のトレーニングに依存する。 逆モデルは一度トレーニングされ、入ってくる応答専用データのバッチ間で再利用される。 Countdown と GSM8K のタスクで Qwen3-0.6B を用いることで、GRPO のトレーニングが飽和した後、逆モデルからの単一オフライン蒸留ラウンドは、ハードプロンプトでpass@1 をほぼ2倍にし、Countdown では、各混合比(GSM8K の利得が小さい)で全てのハードテール計量で拒絶サンプリング自己蒸留を上回ります。 新鮮なデータ上のGRPOは、ハードパス@1でエッジを保持するが、すべてのステップでロールアウトを再生しながら、pass@8およびpass@32で蒸留をパスする。 付加的なボーナスとして、逆モデルは正確な正当性検証として第二の応用を有することが分かる。 テスト時に$$$のベストな選択に使用すると、Countdownにおける選択精度が0.753(多数投票)から0.969に上昇する。

関連論文リスト

• Learning from the Gap Between Pass@K and Pass@1 [5.390994765967647]
  本研究では,各クエリが検索なしで1つの応答を受信する単一サンプル復号法について検討し,検索対象の振る舞いをモデルに吸収できるかどうかを問う。 既存のトレーニング後レシピは、Kサンプル内で回収された障害から、最初のデコードで既に解決されている問題を一般的に区別するものではない。 本稿では、ソースチェックポイントの単一サンプル結果とPass@K-Pass@1ギャップ上の微調整によってトレーニングエビデンスを選択するGapFTを紹介する。
  論文  参考訳（メタデータ） (2026-09-17T04:34:33Z)
• Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning [27.08087977200613]
  BIRD(Bootstrapped Iterative Self-Reasoning Distillation)は、2段階の自己焼成蒸留法である。 まず、簡潔な指示の下でベースモデルから簡潔な解をサンプリングし、答えの正しいトレースのみを保持し、軽量なプロンプトスイッチSFTステップを実行する。 MATH-500 や AIME のベンチマーク上でのオンライン蒸留やコールドスタートよりも高い精度・効率のトレードオフを実現している。
  論文  参考訳（メタデータ） (2026-07-17T08:15:35Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning [46.765013720309064]
  大規模言語モデル(LLM)における長期文脈推論は、チェーン・オブ・ソート(CoT)推論による認知能力の向上を実証している。 このようなモデルのトレーニングは通常、数学やプログラミングのような推論に基づく問題において、検証可能な報酬(RLVR)を用いた強化学習によって行われる。 我々は,教師と学生の両方の役割を同一のベース言語モデルで担う自己蒸留技術であるtextbfSemantic Soft Bootstrapping (SSB) を提案する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:18Z)
• Nudging the Boundaries of LLM Reasoning [77.26972440427285]
  現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。 自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
  論文  参考訳（メタデータ） (2025-09-30T02:01:40Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。