論文の概要: Beyond Distribution Sharpening: The Importance of Task Rewards

• arxiv url: http://arxiv.org/abs/2604.16259v1
• Date: Fri, 17 Apr 2026 17:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:20.023618
• Title: Beyond Distribution Sharpening: The Importance of Task Rewards
• Title（参考訳）: 分散強化を超えて - タスクリワードの重要性
• Authors: Sarthak Mittal, Leo Gagnon, Guillaume Lajoie,
• Abstract要約: 両パラダイムを実装するツールとしてRLを用いて,分布のシャープニングとタスク逆学習を比較した。 Llama-3.2-3B-インストラクト、Qwen2.5-3B-インストラクト、Qwen3-4B-インストラクト-2507を用いた数学データセットによる実験では、シャープ化が利得を制限することが確認された。
• 参考スコア（独自算出の注目度）: 20.11905685439596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier models have demonstrated exceptional capabilities following the integration of task-reward-based reinforcement learning (RL) into their training pipelines, enabling systems to evolve from pure reasoning models into sophisticated agents. However, debate persists regarding whether RL genuinely instills new skills within a base model or merely sharpens its existing distribution to elicit latent capabilities. To address this dichotomy, we present an explicit comparison between distribution sharpening and task-reward-based learning, utilizing RL as a tool to implement both paradigms. Our analysis reveals the inherent limitations of distribution sharpening, demonstrating from first principles how and why the optima can be unfavorable and the approach fundamentally unstable. Furthermore, our experiments using Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct and Qwen3-4B-Instruct-2507 on math datasets confirm that sharpening yields limited gains, whereas incorporating task-based reward signal can greatly help achieve robust performance improvements and stable learning.
• Abstract（参考訳）: フロンティアモデルは、タスク・リワードに基づく強化学習(RL)をトレーニングパイプラインに統合し、純粋な推論モデルから洗練されたエージェントへとシステムを進化させることで、例外的な能力を実証している。 しかし、RLが真にベースモデルに新しいスキルを注ぎ込むのか、単に既存の分布を絞って潜伏能力を引き出すのかについては議論が続いている。 この二分法に対処するために、RLを両方のパラダイムを実装するツールとして利用し、分布のシャープニングとタスク・リワードに基づく学習を明確に比較する。 我々の分析は、分布のシャープ化の本質的な限界を明らかにし、なぜ最適が好ましくないのか、そしてアプローチが根本的に不安定なのかを第一原理から示している。 さらに,Llama-3.2-3B-インストラクト,Qwen2.5-3B-インストラクト,Qwen3-4B-インストラクト-2507を数学データセット上で行った実験により,シャープ化が利得を制限していることを確認した。

関連論文リスト

• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。