論文の概要: TTRL: Test-Time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.16084v1
• Date: Tue, 22 Apr 2025 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 16:54:55.683213
• Title: TTRL: Test-Time Reinforcement Learning
• Title（参考訳）: TTRL: テスト時間強化学習
• Authors: Yuxin Zuo, Kaiyan Zhang, Shang Qu, Li Sheng, Xuekai Zhu, Biqing Qi, Youbang Sun, Ganqu Cui, Ning Ding, Bowen Zhou,
• Abstract要約: TTRL(Test-Time Reinforcement Learning)は、ラベルのないデータに基づいて大規模言語モデル(LLM)を訓練する新しい手法である。 実験の結果,TTRLは様々なタスクやモデルに対して一貫して性能を向上することがわかった。
• 参考スコア（独自算出の注目度）: 24.481883725352375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates Reinforcement Learning (RL) on data without explicit labels for reasoning tasks in Large Language Models (LLMs). The core challenge of the problem is reward estimation during inference while not having access to ground-truth information. While this setting appears elusive, we find that common practices in Test-Time Scaling (TTS), such as majority voting, yield surprisingly effective rewards suitable for driving RL training. In this work, we introduce Test-Time Reinforcement Learning (TTRL), a novel method for training LLMs using RL on unlabeled data. TTRL enables self-evolution of LLMs by utilizing the priors in the pre-trained models. Our experiments demonstrate that TTRL consistently improves performance across a variety of tasks and models. Notably, TTRL boosts the pass@1 performance of Qwen-2.5-Math-7B by approximately 159% on the AIME 2024 with only unlabeled test data. Furthermore, although TTRL is only supervised by the Maj@N metric, TTRL has demonstrated performance to consistently surpass the upper limit of the initial model, and approach the performance of models trained directly on test data with ground-truth labels. Our experimental findings validate the general effectiveness of TTRL across various tasks, and highlight TTRL's potential for broader tasks and domains. GitHub: https://github.com/PRIME-RL/TTRL
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における推論タスクの明示的なラベルのないデータに対する強化学習(RL)について検討する。 この問題の核心となる課題は、地道情報にアクセスできないまま、推論中に報酬を見積もることである。 テストタイムスケーリング(TTS)の一般的な実践,例えば多数決では,RLトレーニングの実施に適した驚くほど効果的な報酬が得られます。 本研究では,実験時間強化学習(TTRL, Test-Time Reinforcement Learning)を提案する。 TTRLは、事前訓練されたモデルの事前情報を活用することで、LLMの自己進化を可能にする。 実験の結果,TTRLは様々なタスクやモデルに対して一貫して性能を向上することがわかった。 特にTTRLは、未ラベルのテストデータだけで、Qwen-2.5-Math-7Bのパス@1パフォーマンスをAIME 2024で約159%向上させる。 さらに、TTRLはMag@Nメートル法でのみ管理されているが、TTRLは初期モデルの上限を一貫して超越する性能を示し、地上構造ラベルを用いた試験データに基づいて直接訓練されたモデルの性能にアプローチしている。 実験により,TTRLは様々なタスクにまたがって有効であることが確認され,より広範なタスクやドメインに対するTTRLの可能性を強調した。 GitHub: https://github.com/PRIME-RL/TTRL

関連論文リスト

• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [67.30809748319486]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,LLMの推論能力の向上に成功している。 我々は、この仮定を再検討し、pass@textitkメトリックを大量のtextitk値で測定し、モデルの推論能力境界を探索する。 我々は、RLがエノノット、事実、根本的に新しい推論パターンを誘発することを発見した。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• LIMR: Less is More for RL Scaling [25.477841726836836]
  学習影響測定(Learning Impact Measurement, LIM)は, 学習サンプルを評価・優先順位付けする自動手法である。 提案手法は,1,389個のサンプルと8,523個のサンプルの完全なデータセットとを比較して,同等あるいは優れた性能を実現する。 再現可能な研究と今後のイノベーションのために、LIMRをオープンソース化しています。LIMRの実装、トレーニングと評価コード、キュレートされたデータセット、トレーニングされたモデルなどです。
  論文  参考訳（メタデータ） (2025-02-17T15:13:29Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Knowledge Graph Reasoning with Self-supervised Reinforcement Learning [30.359557545737747]
  本稿では,RLトレーニング前の政策ネットワークを温めるための自己指導型事前学習手法を提案する。 教師付き学習段階において、エージェントはポリシーネットワークに基づいて行動を選択し、生成されたラベルから学習する。 我々のSSRLモデルは、すべてのHits@kおよび平均相互ランク(MRR)メトリクスにおいて、現在の最先端結果と一致または超えていることを示す。
  論文  参考訳（メタデータ） (2024-05-22T13:39:33Z)
• Parameter Efficient Reinforcement Learning from Human Feedback [27.687265760622918]
  人間のフィードバックからの強化学習(RLHF)は、事前訓練された大言語と視覚言語モデルと人間の嗜好を効果的に一致させる。 微調整の計算負担を軽減するため、LoRAのような効率的な手法が導入された。 PE-RLHFセットアップを、要約、無害/重厚な応答生成、UI自動化、視覚的質問応答にまたがる6つの多様なデータセットでベンチマークする。
  論文  参考訳（メタデータ） (2024-03-15T21:43:46Z)
• Open RL Benchmark: Comprehensive Tracked Experiments for Reinforcement Learning [41.971465819626005]
  我々は、完全に追跡されたRL実験のセットであるOpen RL Benchmarkを紹介する。 Open RL Benchmarkはコミュニティ主導で、誰でもダウンロード、使用、データへのコントリビューションが可能です。 それぞれの実験が正確に再現可能であることを保証するため、特別に注意が払われる。
  論文  参考訳（メタデータ） (2024-02-05T14:32:00Z)
• SRL: Scaling Distributed Reinforcement Learning to Over Ten Thousand Cores [13.948640763797776]
  本稿では,RLトレーニングアプリケーションを汎用フレームワークに統合する,RLトレーニングのデータフローに関する新しい抽象化を提案する。 スケーラブルで効率的で分散的なRLシステムであるReaLly scalableRLを開発した。 SRLは15k以上のCPUコアでRL実験を大規模に実施した初めての学術コミュニティである。
  論文  参考訳（メタデータ） (2023-06-29T05:16:25Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  メタRLへの入力において、従来のRLを介してタスク毎に学習されるアクション値を含むハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$に比べて長期で累積報酬が大きくなる一方で、メタトレーニング時間を大幅に削減し、アウト・オブ・ディストリビューションタスクをより一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning [68.02988959934498]
  本稿では,サンプリング視点をトラジェクトリに拡張するメモリ技術である(Prioritized) Trajectory Replay (TR/PTR)を提案する。 TRは、その後の状態情報の使用を最適化するトラジェクトリの後方サンプリングによって学習効率を向上させる。 D4RL上の既存のオフラインRLアルゴリズムとTRとPTRを統合する利点を実証する。
  論文  参考訳（メタデータ） (2023-06-27T14:29:44Z)
• Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
  PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。 現在の最先端の手法に匹敵する幅と精度を実現している。
  論文  参考訳（メタデータ） (2020-07-09T13:06:07Z)
• RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning [108.9599280270704]
  オフラインのRL手法を評価・比較するためのRL Unpluggedというベンチマークを提案する。 RL Unpluggedにはゲームやシミュレートされたモーター制御問題を含むさまざまな領域のデータが含まれている。 本論文で提示した全タスクのデータと,全アルゴリズムをオープンソースとして公開する。
  論文  参考訳（メタデータ） (2020-06-24T17:14:51Z)
• Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement [137.29281352505245]
  この結果から,多くのタスクを効率よく解くために,RLアルゴリズムのタンデムに逆RLを使用できることが示唆された。 実験により,逆RLを用いた学習が一般的なマルチタスク環境における学習を加速することを確認した。
  論文  参考訳（メタデータ） (2020-02-25T18:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。