論文の概要: Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer

• arxiv url: http://arxiv.org/abs/2610.41296v1
• Date: Fri, 30 Oct 2026 05:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.627251
• Title: Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
• Title（参考訳）: 補助的報酬による自己改善:検証されたトレースから学び、移行を評価する
• Abstract要約: 補助的軌跡選好が限定的な監督の下で,小言語モデルによる自己改善と伝達を改善するか否かを検討する。 オンライン実験では30のAIME問題に対してQwen3-1.7Bが適用され、オフライン実験では過去のAIME問題を使用する。 予備選好は、推論時間中に捕捉されていない等しく正しいトレースの中から学習価値を露呈し、下流利得による評価を動機付けることができる。
• 参考スコア（独自算出の注目度）: 23.648174923262427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answer-level rewards cannot distinguish reasoning traces with equally correct outcomes. We study whether auxiliary trajectory preferences improve small-language-model self-improvement and transfer under limited supervision. We compare confidence-based (SC) and entropy-based metrics (UID-Conj.), which combines global entropy variation and local smoothness, through online reward augmentation and offline training on correct responses. Online experiments adapt Qwen3-1.7B on 30 AIME problems without reference answers; offline experiments use historical AIME problems. UID-Conj. improves the online macro-average across the adaptation benchmark and three transfer benchmarks by 2.08 percentage points over unmodified TTRL. The strongest evidence comes from offline weighted SFT: UID-Conj. exceeds uniform weighting on the same response pool by 1.93 points, with a paired prompt-bootstrap 95\% CI of [0.44, 3.44]. Benefits are task-dependent: SC rewards judged trace quality and instruction following, while UID-Conj. rewards yield stronger training outcomes in several settings. We find that auxiliary preferences can expose learning value among equally correct traces not captured during inference time, motivating their evaluation through downstream gains.
• Abstract（参考訳）: 解答レベルの報酬は、等しく正しい結果の推論トレースを区別することはできない。 補助的軌跡選好が限定的な監督の下で,小言語モデルによる自己改善と伝達を改善するか否かを検討する。 我々は,グローバルなエントロピー変動と局所的スムーズさを組み合わせた信頼度ベース(SC)とエントロピーベースのメトリクス(UID-Conj.)を,オンライン報酬増強と正解に対するオフライントレーニングを通じて比較した。 オンライン実験では30のAIME問題に対してQwen3-1.7Bが適用され、オフライン実験では過去のAIME問題を使用する。 UID-Conj 適応ベンチマークと3つの転送ベンチマークのオンラインマクロ平均値を、修正されていないTTRLに対して2.08ポイント改善する。 最強の証拠は、オフライン重み付きSFT: UID-Conjである。 同じ応答プール上の均一な重み付けを1.93ポイント超え、[0.44, 3.44]の95%CI対のプロンプトブートストラップで行う。 SCは後続のトレース品質と命令を判断し、UID-Conjを判定する。 報酬はいくつかの条件で より強い訓練結果をもたらす 予備選好は、推論時間中に捕捉されていない等しく正しいトレースの中から学習価値を露呈し、下流利得による評価を動機付けることができる。

関連論文リスト

• Learning to Reason with Selective Internal Feedback [15.532616887327253]
  本稿では、比較報酬構築と選択ポリシー更新を組み合わせた強化学習手法であるSIFを紹介する。 SIFは、複数のウィンドウとピアでランク付けされたトークンレベルの自己確実性プロファイルを比較し、両レベルの投票が十分なサポートを提供する場合にのみ、肯定的な報酬を割り当てる。 実験の結果、SIFの最終チェックポイントは、IntuitorとVigorの最良の検証ポイントよりも平均精度が高く、Qwen2.5-Math-1.5BではIntuitorよりも4.71ポイント上昇した。
  論文  参考訳（メタデータ） (2026-10-15T07:08:46Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents [28.95182429824442]
  我々はエビデンス条件の自己蒸留フレームワークであるEviSDを提案する。 検索アクションや黄金の回答のための特権情報として、インスタンスレベルのサポートエビデンスを使用している。 EviSDは、評価されたすべての設定において、マクロ平均のExact Matchを最高に達成する。
  論文  参考訳（メタデータ） (2026-08-02T16:22:27Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• ANCORA: Learning to Question via Manifold-Anchored Self-Play for Verifiable Reasoning [0.0]
  オープンエンドカリキュラムの自己プレイに向けてのパラダイムシフトを提案する。 本稿では、新しい仕様を合成するプロポーラと、検証されたソリューションを生成する解決器とを、ポリシーが交互に扱うANCORAを紹介する。 我々はANCORAがDafny2Verus pass@1を26.6%のSFTベースラインから81.5%のテストタイムトレーニング(TTT, 0-shot)に引き上げたことを示す。 移行設定では、Dafny2Verusシードからのトレーニングは、保持されたMBPPとHumanEvalで36.2%と17.2%のpass@1を得る。
  論文  参考訳（メタデータ） (2026-04-30T09:35:57Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Continuous Self-Improvement of Large Language Models by Test-time Training with Verifier-Driven Sample Selection [6.471199527741301]
  VDS-TTT(Verifier-Driven Sample Selection for Test-Time Training)と呼ばれる新しいフレームワークを導入する。 学習した検証器を用いて、生成された応答のプールをスコアし、高いランクの擬似ラベル付き例からのみ選び、微調整を施す。 低ランクなLoRAアダプタパラメータのみを微調整し、適応効率と高速収束を確保する。
  論文  参考訳（メタデータ） (2025-05-26T03:54:47Z)
• Self-Consistency Preference Optimization [79.37880123635405]
  自己整合性優先最適化(ScPO)を導入する。 ScPOは、教師なしの新たな問題に関して、一貫性のない答えよりも好まれる一貫性のある回答を反復的に訓練する。 ゼブラ論理では、ScPO fine Llamatunes-3 8Bは、Llama-3 70B、Gemma-2 27B、Claude-3 Haikuより優れている。
  論文  参考訳（メタデータ） (2024-11-06T18:36:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。