論文の概要: What Pretraining and Midtraining Make Learnable from Rewards?

• arxiv url: http://arxiv.org/abs/2609.38446v1
• Date: Tue, 29 Sep 2026 19:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.658168
• Title: What Pretraining and Midtraining Make Learnable from Rewards?
• Title（参考訳）: プレトレーニングとミッドトレーニングがリワードから学べる理由
• Abstract要約: 報酬は、新しい未決定入力に必要な計算を残しながら、正しい答えを特定できる。 本研究では,報奨適応を効果的に行う情報と計算を,事前学習と中等教育がいかに提供するかを検討する。
• 参考スコア（独自算出の注目度）: 5.718096628460326
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A reward can identify a correct answer while leaving the computation needed for new inputs undetermined. We study how pretraining and midtraining supply the information and computation that make reward adaptation effective. In sequential state computation and contextual memory, we characterize mechanisms that agree on every training reward yet demand different held-out answers. Task-independent source observations resolve this ambiguity. We construct finite sampled Adam paths from specified random initializations through source prediction and reward adaptation in the same parameters, proving how prediction acquires execution or retrieval and rewards learn their task-specific use. Experiments with pretrained Qwen2.5 checkpoints test this division of labor. Across eight worlds, Sequential models trained with correct source and first-operation supervision reach 82.61% success, versus 44.15% for a private-random source control. Memory replay preserves retrieval during reward adaptation, and an independent eight-world confirmation achieves 75.32% task success versus 49.86% after matched alternative-retrieval training. GSM8K and HotpotQA separate accuracy at reward entry, subsequent gain and final performance. Together, these results connect information acquisition, executable computation and reward-guided task learning.
• Abstract（参考訳）: 報酬は、新しい入力に必要な計算を未決定のまま残しながら、正しい答えを特定できる。 本研究では,報奨適応を効果的に行う情報と計算を,事前学習と中等教育がいかに提供するかを検討する。 逐次状態計算と文脈記憶では、トレーニング報酬に同意する機構を特徴付ける。 タスク非依存のソース観測はこの曖昧さを解決します。 我々は、ソース予測と報酬適応を同一パラメータで行うことで、特定のランダム初期化から有限サンプルAdamパスを構築し、予測が実行や検索をいかに獲得するかを証明し、タスク固有の使用法を学習する。 事前訓練されたQwen2.5チェックポイントによる試験は、この分業を試験する。 8つの世界において、シークエンシャルモデルは正しいソースとファーストオペレーションの監督で訓練され、82.61%の成功を収めた。 メモリリプレイは報酬適応中に検索を保存し、独立した8ワールド認証は75.32%のタスク成功を達成する。 GSM8KとHotpotQAは、報酬入力時の精度、その後のゲイン、最終的なパフォーマンスを区別する。 これらの結果は、情報取得、実行可能計算、報酬誘導型タスク学習を結合する。

関連論文リスト

• Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
  本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。 Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。 また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
  論文  参考訳（メタデータ） (2026-09-28T17:54:24Z)
• Does Learning to Predict the World Help Agents Act? Auditing World-Model Post-Training [33.73456133272386]
  訓練後、エージェントは次の観察を予測し、その予測を報酬または直接的な監視信号に変換する必要がある。 我々は、トレーニングプロセス中に、真の次の観測対象を、分布不一致の観察に置き換える。 この発見をVisualWebArenaに一般化します。そこでは、ランダムリワードトレーニングがベースモデルに対してpass@64を14.3%上昇させます。
  論文  参考訳（メタデータ） (2026-09-27T08:07:05Z)
• Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
  マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。 それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。 Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
  論文  参考訳（メタデータ） (2026-09-21T17:57:20Z)
• Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training [52.78248352851176]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルにおける推論能力を引き出すための訓練後のパラダイムである。 本研究では,この残差軸をタスク学習可能性として検討する。 そこで我々はTrajValを提案する。TrajValは、短いプローブランと2つのエンドポイント評価からタスク毎の学習可能性を近似する軽量なプローブベース推定器である。
  論文  参考訳（メタデータ） (2026-08-10T07:43:05Z)
• MARA: Flow-Matching-Guided Multi-Agent Resource Allocation for Computational Resource Efficient Learning [29.198856168513743]
  本研究では、タスクが時間とともに到着し、離散ノードによって計算が提供される現実的な環境について検討する。 我々は,条件付きフローマッチングによる将来の損失軌跡を予測し,協調的マルチエージェント自己回帰ポリシーを用いて計算ノードを協調するMARAを提案する。 スケジューラの訓練負荷において、MARAは、平均63.46%のタスクを完了し、8.54ポイントは、適応資源割当(LARA)による強力なベースライン学習(Learning with Adaptive Resource Allocation)よりも高い。
  論文  参考訳（メタデータ） (2026-08-10T05:13:56Z)
• Rewarding DINO: Predicting Dense Rewards with Vision Foundation Models [13.236640565210477]
  ロボット操作において、よく設計された高密度報酬関数は、タスクが完了したかどうかを示すが、その過程で進行をエンコードする。 本稿では,特定の軌道ではなく,実際の報酬関数を学習する言語条件付報酬モデリング手法であるRewarding DINOを紹介する。 我々は,24のMeta-World+タスクから抽出したデータをランクベース損失を用いて学習し,ペアワイズ精度,ランク相関,キャリブレーションを評価する。
  論文  参考訳（メタデータ） (2026-03-17T13:34:47Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• The Climb Carves Wisdom Deeper Than the Summit: On the Noisy Rewards in Learning to Reason [36.50007948478452]
  本研究では,報奨雑音が学習後の大規模言語モデルに与える影響について検討した。 その結果、LLMは相当な報酬雑音に対して強い強靭性を示すことがわかった。 本研究は,事前学習段階におけるモデルの基礎的能力の向上の重要性を示唆するものである。
  論文  参考訳（メタデータ） (2025-05-28T17:59:03Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。