論文の概要: Stabilizing Iterative Self-Training with Verified Reasoning via Symbolic Recursive Self-Alignment

• arxiv url: http://arxiv.org/abs/2603.21558v1
• Date: Mon, 23 Mar 2026 04:25:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.48157
• Title: Stabilizing Iterative Self-Training with Verified Reasoning via Symbolic Recursive Self-Alignment
• Title（参考訳）: 記号的帰納的自己アライメントによる検証推論による反復的自己訓練の安定化
• Authors: Xinyu Zhang,
• Abstract要約: Neuro-Symbolic Recursive Self-Alignmentはシンボル検証サブシステムを組み込むことで反復的自己訓練を安定化する。 NSRSAは各演算をシンプシーで検証し、推論ステップ間で論理フローの整合性をチェックし、ドメインの制約を強制する。
• 参考スコア（独自算出の注目度）: 6.400424118459376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive self-improvement--where a model iteratively trains on its own outputs--promises sustained capability growth but faces a fundamental obstacle: recursive drift. As models train on self-generated data across multiple iterations, errors in intermediate reasoning compound, leading to mode collapse and performance degradation. We propose Neuro-Symbolic Recursive Self-Alignment (NSRSA), which stabilizes iterative self-training by embedding a symbolic verification subsystem that gates training data quality at the reasoning step level. Unlike outcome-only filtering (which admits "lucky guesses" with flawed reasoning), NSRSA verifies each arithmetic operation via sympy, checks logical flow consistency across reasoning steps, and enforces domain constraints. We evaluate NSRSA on GSM8K using Qwen3-4B-Thinking across 5 self-training iterations under five conditions: no verification, outcome verification, majority voting, full NSRSA symbolic verification, and NSRSA with DPO. Our filtering analysis shows that NSRSA rejects approximately 34% of correct-answer solutions that pass outcome verification, eliminating "lucky guesses" with flawed reasoning from the training set. We further demonstrate that constructing DPO preference pairs from NSRSA verification teaches the model to distinguish sound from flawed reasoning (reward accuracy 46% to 63%). NSRSA provides an extensible framework that demonstrates how external symbolic verification can make recursive self-improvement measurable and reliable within domains where automated verification is available.
• Abstract（参考訳）: 再帰的自己改善(Recursive self-improvement) - モデルが自身のアウトプットを反復的にトレーニングする。 モデルが複数のイテレーションにまたがって自己生成データをトレーニングすると、中間推論のエラーが発生し、モードの崩壊とパフォーマンスの低下につながる。 本稿では,学習段階における学習データ品質をゲートするシンボル検証サブシステムを組み込むことにより,反復的自己訓練を安定化するニューロシンボリック再帰自己調整(NSRSA)を提案する。 結果のみのフィルタリング(欠点のある推論を伴う"幸運な推測"を認める)とは異なり、NSRSAはシンプシーによって各演算を検証し、論理フローの整合性を確認し、ドメイン制約を強制する。 Qwen3-4B-Thinking を用いて GSM8K 上の NSRSA を5つの条件で評価した。 フィルタリング分析により,NSRSAは,結果検証に合格する正解解の約34%を拒絶し,トレーニングセットからの欠点のある推論を排除した。 さらに,NSRSA検証からDPO選好ペアを構築することで,欠点のある推論(回帰精度46%から63%)と音の区別が可能であることを示す。 NSRSAは、自動検証が利用可能なドメイン内で、外部のシンボリック検証が再帰的な自己改善測定と信頼性を実現する方法を示す拡張可能なフレームワークを提供する。

関連論文リスト

• AutoResearch-RL: Perpetual Self-Evaluating Reinforcement Learning Agents for Autonomous Neural Architecture Discovery [5.110708177092157]
  本稿では、強化学習エージェントが人間の監督なしにオープンエンドニューラルネットワーク研究を行うためのフレームワークであるAutoResearch-RLを提案する。 我々はこれをマルコフ決定過程として定式化し、軽微な仮定の下で収束保証を導出し、1つのGPUナノチャット事前学習ベンチマークで経験的に実証する。
  論文  参考訳（メタデータ） (2026-03-07T17:49:44Z)
• Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training [2.62112541805429]
  Reasoning Coreは、コア形式ドメイン間で検証可能なシンボリック推論データを手続き的に生成するスケーラブルなスイートである。 各タスクは厳密な検証のための外部解決器と組み合わせられ、カリキュラム設計のための継続的な難易度制御が認められる。 実験によると、Reasoning Coreのデータを事前トレーニングに混ぜることによって、下流の推論が改善され、保存されたり、わずかに改善された言語モデリングの品質が向上する。
  論文  参考訳（メタデータ） (2026-03-02T18:59:29Z)
• CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning [4.765206163164323]
  CLEANERは本質的な自己訂正機能を利用して、データ収集中にエラーに汚染されたコンテキストを除去する。 類似性を考慮した適応ロールバック機構は、クリーンで清浄な軌道を自律的に構築する。 その結果, 平均精度は6%, 3%, 5%であった。
  論文  参考訳（メタデータ） (2026-01-21T16:14:30Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
  自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。 アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。 モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
  論文  参考訳（メタデータ） (2025-11-20T13:10:52Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。