論文の概要: Model-Task Alignment Drives Distinct RL Outcomes

• arxiv url: http://arxiv.org/abs/2508.21188v1
• Date: Thu, 28 Aug 2025 20:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.865624
• Title: Model-Task Alignment Drives Distinct RL Outcomes
• Title（参考訳）: Model-TaskアライメントはRLの連続出力を駆動する
• Authors: Haoze Wu, Cheng Wang, Wenshuo Zhao, Junxian He,
• Abstract要約: 反直感現象は、大きな言語モデル(LLM)で報告されている RL観測を区別する重要な要因を同定する。事前学習されたモデルが既に強力なModel-Taskアライメントを示すかどうか。 この結果から, 標準RLトレーニングは, セッティング全体にわたって一貫して頑健でありながら, モデルとタスクがすでに強いモデルとタスクのアライメントを示す場合にのみ, 直感的な結果が生じることが示唆された。
• 参考スコア（独自算出の注目度）: 22.83151273022573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in applying reinforcement learning (RL) to large language models (LLMs) have led to substantial progress. In particular, a series of remarkable yet often counterintuitive phenomena have been reported in LLMs, exhibiting patterns not typically observed in traditional RL settings. For example, notable claims include that a single training example can match the performance achieved with an entire dataset, that the reward signal does not need to be very accurate, and that training solely with negative samples can match or even surpass sophisticated reward-based methods. However, the precise conditions under which these observations hold - and, critically, when they fail - remain unclear. In this work, we identify a key factor that differentiates RL observations: whether the pretrained model already exhibits strong Model-Task Alignment, as measured by pass@k accuracy on the evaluated task. Through a systematic and comprehensive examination of a series of counterintuitive claims, supported by rigorous experimental validation across different model architectures and task domains, our findings show that while standard RL training remains consistently robust across settings, many of these counterintuitive results arise only when the model and task already exhibit strong model-task alignment. In contrast, these techniques fail to drive substantial learning in more challenging regimes, where standard RL methods remain effective.
• Abstract（参考訳）: 大規模言語モデル(LLM)への強化学習(RL)の適用の最近の進歩は、大きな進歩をもたらした。 特に、LLMでは顕著に反直観的な現象が報告されており、従来のRL設定では見られていないパターンが示されている。 例えば、単一のトレーニング例がデータセット全体で達成されたパフォーマンスと一致し、報酬信号がそれほど正確ではないこと、負のサンプルのみによるトレーニングが高度な報酬ベースの手法にマッチしたり、超えたりする、という主張がある。 しかしながら、これらの観測が保持する正確な条件 - そして、重要なことに、それらが失敗したとき - はいまだに不明である。 本研究では,事前学習したモデルが,評価タスク上でのpass@k精度によって測定された強力なModel-Taskアライメントを示すかどうか,RL観測を区別する重要な因子を同定する。 様々なモデルアーキテクチャやタスクドメインにまたがる厳密な実験的検証によって支援された一連の逆直観的クレームの体系的・包括的検証を通じて、標準RLトレーニングは、設定間で一貫して堅牢である一方で、これらの逆直観的結果の多くは、モデルとタスクが既に強力なモデルタスクアライメントを示す場合にのみ生じる。 対照的に、これらの手法は、標準のRL法が有効であるより困難な体制において、実質的な学習を促進することができない。

関連論文リスト

• ExPO: Unlocking Hard Reasoning with Self-Explanation-Guided Reinforcement Learning [12.83211408922535]
  強化学習スタイルのポストトレーニングは、報酬や選好信号に基づいてモデル出力を最適化することで推論を改善する。 GRPOスタイルのアプローチでは、結果ベースの検証によってラベル付けされた自己生成サンプルを使用することでこれを実装している。 提案手法は, 基本的回答を条件に, 単純でモジュール化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-07-03T17:44:55Z)
• Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning [26.717777746219635]
  数理推論をケーススタディとして、静的評価とRLトレーニングのシナリオの両方において、様々な検証を包括的に分析する。 まず、現在のオープンソースのルールベースの検証器は、よく使われる数学的データセット間で異なる形式で表される同等の答えを認識できないことが多く、無視できない偽陰性率をもたらす。 これらの制約に対処するための潜在的な解決策としてモデルベース検証について検討する。 静的評価では,モデルの検証精度が著しく向上していることが示されているが,さらに解析とRLトレーニングの結果から,特定のパターンを誤分類するハッキングに非常に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T10:28:41Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。