論文の概要: ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2606.23104v1
• Date: Mon, 22 Jun 2026 09:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 00:08:44.128347
• Title: ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
• Title（参考訳）: ReNIO:LLMオンポリス蒸留における負軌道の重み付け
• Authors: Chen Lin, Kedi Chen, Wei Zhang,
• Abstract要約: オンライン蒸留は、学生モデルを独自の出力で訓練することで推論を改善するが、標準的なOPDは学生が生産する出力を、その情報によらず平等に扱う。 我々は制御されたフィルタリング実験において一貫した非対称性を観察し、OPDとOPSDの両方において、不正なSGOのトレーニングのみにおいて、正しいトレーニングよりも優れた結果が得られることを示した。 完全回答を含むロールアウトを必要とせずにこの信号を利用するために,LLMオンポリス蒸留における負の軌道重要度を重み付けするReNIOを導入する。
• 参考スコア（独自算出の注目度）: 8.293675661721926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) improves LLM reasoning by training a student model on its own generated outputs, but standard OPD treats all student-generated outputs (SGOs) equally regardless of their informativeness. We observe a consistent asymmetry in controlled filtering experiments: in both OPD and on-policy self distillation (OPSD), training only on incorrect SGOs outperforms training only on correct ones. Our further analysis suggests that models trained on correct-only SGOs tend to generate shorter reasoning traces and show weaker reflection behavior, while incorrect SGOs better preserve exploratory reasoning near the model's capability boundary. To exploit this signal without requiring full answer-containing rollouts, we introduce ReNIO, which Reweights Negative trajectory Importance for LLM On-policy distillation. By using the student-to-teacher probability ratio, ReNIO identifies pivotal tokens leading to wrong reasoning traces and aggregates their information into a normalized sample weight, inherently assigning larger weights to likely negative trajectories without observing the correctness of final-answer. Since Re-NIO only uses prefix-conditioned token probabilities, it preserves OPD's prefix training advantage over full-rollout reinforcement learning. Across both mathematical reasoning and code generation tasks, ReNIO improves both OPD and OPSD, with representative relative gains of up to 8.90% for Qwen3-1.7B and 10.00% for R1-Distill-Qwen-7B on mathematical reasoning benchmarks. Code repo: https://github.com/BDML-lab/ReNIO.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生モデルを自作出力で訓練することでLCM推論を改善するが、標準的なOPDは学生生成出力(SGO)を、その情報によらず平等に扱う。 我々は制御されたフィルタリング実験において一貫した非対称性を観察し、OPDとOPSDの両方において、不正なSGOのトレーニングのみにおいて、正しいトレーニングよりも優れた結果が得られることを示した。 さらに分析した結果, 正当性SGOを用いたモデルでは, より短い推理トレースが生成され, 反射挙動が弱い傾向がみられ, 不正性SGOはモデルの能力境界付近での探索的推論をよりよく保存する傾向が示唆された。 完全回答を含むロールアウトを必要とせずにこの信号を利用するために,LLMオンポリス蒸留における負の軌道重要度を重み付けするReNIOを導入する。 学生と教師の確率比を用いて、ReNIOは間違った推論トレースにつながる重要なトークンを特定し、その情報を正規化標本の重みに集約する。 Re-NIOはプレフィックス条件付きトークン確率のみを使用するため、フルロールの強化学習よりもOPDのプレフィックストレーニングの優位性を保っている。 数学的推論とコード生成の両方において、ReNIOはOPSDとOPSDの両方を改善しており、Qwen3-1.7Bは最大8.90%、R1-Distill-Qwen-7Bは10.00%である。 コードリポジトリ:https://github.com/BDML-lab/ReNIO

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR [6.291433683451589]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力向上に有効な方法となっている。 最近の研究では、NSR(Negative Sample Reinforcement)がPPOやGRPOのようなより複雑なフレームワークのパフォーマンスに適合または超えることが示されている。 我々は,NSRフレームワークの拡張として,適応型負のサンプル強化と信頼度重み付き負の強化の2つを提案する。
  論文  参考訳（メタデータ） (2026-05-08T02:13:33Z)
• Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning [19.473649388687484]
  大きな言語モデル(LLM)と明確な推論能力は、数学的推論では優れているが、プロセスエラーをコミットする。 本稿では,理論の強化を目的としたオンライン共同学習フレームワークGeneversarative Adrial Reasonerを紹介する。 計算効率の高いレビュースケジュールは、各推論チェーンを、同等の長さの論理的に完全なスライスに分割し、判別器は、構造化された正当化により、各スライスの音質を評価する。
  論文  参考訳（メタデータ） (2025-12-18T18:59:54Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Bridging Supervised Learning and Reinforcement Learning in Math Reasoning [55.889740979706815]
  強化学習(Reinforcement Learning, RL)は、二分検証信号による自己改善を可能にすることで、近年の数学能力の急上昇において中心的な役割を担っている。 本研究は,LLMが障害を反映し,外部教師なしで自律的に改善できる教師型アプローチである負認識ファインチューニング(NFT)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:17:40Z)
• Right Question is Already Half the Answer: Fully Unsupervised LLM Reasoning Incentivization [47.04132451658664]
  我々の能力は、数学的および自由形式の自然推論のタスクにおいて、教師付きと競合する性能を達成します。 教師付き信号がなければ、Qwen2.5-Math-7B Baseの精度は30.7%から48.1%に向上する。
  論文  参考訳（メタデータ） (2025-04-08T08:48:51Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。