論文の概要: Can Jev be Your Q or Policy in Reinforcement Learning?

• arxiv url: http://arxiv.org/abs/2610.11692v1
• Date: Thu, 08 Oct 2026 11:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.965612
• Title: Can Jev be Your Q or Policy in Reinforcement Learning?
• Title（参考訳）: Jevは強化学習におけるあなたのQかポリシーか?
• Abstract要約: ファンデーションモデルは、サンプル効率と転送における長年の弱点を緩和する事前の強化学習を提供する。 最近リリースされた決定モデルであるJevは、何も生成せず、単一のフォワードパスで校正された型付き回答を返す。 本稿では、RL学習プロセスにおけるJevの最初の使用法を示し、RLトレーニングの有用なコンポーネントとして凍結決定モデルを確立する。
• 参考スコア（独自算出の注目度）: 30.418869038736904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models supply reinforcement learning (RL) with priors that mitigate its longstanding weaknesses in sample efficiency and transfer, but their token-by-token generation makes queries sequential and costly. Jev, a recently released decision model, generates nothing and returns calibrated, typed answers in a single forward pass. Existing work studies foundation models in RL either as models to be trained or as generators to be prompted, and Jev belongs to neither category, having so far served only as a black box in single domains. How well such a model decides on its own in RL environments, and how it can improve RL as a component of training, therefore remain unaddressed. To this end, in this paper we first examine the requirements that the objects of an RL system place on the answers they consume, and establish that Jev can fulfill all of them except the cardinal use of a value function. The remaining objects form positions that admit several roles each. We then construct algorithms that employ Jev at three of these positions, as a reference policy, an exploration judge, and a replay rater, to improve sample efficiency, exploration, and learning performance. Across nine MiniGrid tasks and three Atari games, training with Jev outperforms a standard RL learner, including where the learner makes no progress alone, while the model itself remains untrained. To our knowledge, we present the first use of Jev within the RL learning process and establish a frozen decision model as a usable component of RL training, inviting further exploration of how Jev and other advanced decision models can improve RL.
• Abstract（参考訳）: ファンデーションモデルは、長期にわたるサンプル効率と転送の弱点を軽減する事前学習(RL)を提供するが、トークン・バイ・トークンの生成はクエリを逐次的かつコスト的に生成する。 最近リリースされた決定モデルであるJevは、何も生成せず、単一のフォワードパスで校正された型付き回答を返す。 既存の研究モデルでは、訓練対象のモデルや、誘導対象のジェネレータとして、そしてJevはどちらのカテゴリーにも属していないため、これまでは単一のドメインでブラックボックスとしてのみ機能していた。 そのようなモデルがRL環境でどのように独自の決定を下すか、トレーニングのコンポーネントとしてRLをどのように改善するか、従って非適応のままである。 この目的のために、本稿では、まずRLシステムのオブジェクトが、それらが消費する答えの上に置かれているという要件を検証し、Jevが値関数の基本的な使用を除いて、それら全てを満たせることを確かめる。 残りのオブジェクトは、それぞれにいくつかの役割を持つ位置を形成する。 次に,Jevを基準方針,探索審査員,リプレイレーダとして,これら3つの位置で採用するアルゴリズムを構築し,サンプル効率,探索,学習性能を向上させる。 9つのMiniGridタスクと3つのAtariゲームの中で、Jevでのトレーニングは標準のRL学習者よりも優れており、学習者が単独で前進することはないが、モデル自体は訓練されていない。 我々の知る限り、我々は、RL学習プロセスでJevを初めて使用し、凍結した決定モデルをRLトレーニングの有用なコンポーネントとして確立し、Jevや他の先進的な決定モデルがどのようにRLを改善するかをさらに探求する。

関連論文リスト

• Demystifying Reinforcement Learning Post-Training of Language Models [32.79823433295599]
  強化学習(RL)ポストトレーニングは,大規模言語モデル(LLM)の能力向上のための強力なフレームワークとして登場した。 しかし、多くの研究者や実践者にとって、古典的RLの背後にある原則は「ブラックボックス」のままである。
  論文  参考訳（メタデータ） (2026-08-24T18:39:45Z)
• SkillFactory: Self-Distillation For Learning Cognitive Behaviors [43.89783092622495]
  思考の長い連鎖を利用した推論モデルは、その答えの検証、バックトラック、再試行といった様々な認知的スキルを取り入れている。 これまでの研究では、ベース言語モデルがこれらのスキルを示すと、強化学習(RL)を用いてモデルをさらに訓練し、それらを活用できることが示されている。 我々の研究であるSkillFactoryは、RL以前の教師付き微調整段階において、これらのスキルを大まかに学習するための微調整モデルである。
  論文  参考訳（メタデータ） (2025-12-03T18:54:53Z)
• From $f(x)$ and $g(x)$ to $f(g(x))$: LLMs Learn New Skills in RL by Composing Old Ones [68.68686526804909]
  LLMは、既存のスキルを組み込むことで、RL中に真に新しいスキルを身につけることができることを示す。 実験により、ソースタスクで得られた構成スキルが、異なるターゲットタスクに転送されることを示す。 この転送は、ターゲットに対する構成的なトレーニングなしでも行われ、ターゲットの原子スキルに関する事前の知識のみを必要とする。
  論文  参考訳（メタデータ） (2025-09-29T17:44:27Z)
• OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling [29.818409458662344]
  LlamaやQwenのような異なる言語モデルファミリーは、強化学習(RL)による後訓練中に異なる行動を示す 本研究では,MegaMath-Web-Proのような高品質な数学的コーパスがベースモデルとRL性能の両方を著しく改善することを明らかにする。 2段階の中間訓練戦略であるStable-then-Decayを導入し、ベースモデルを学習率を一定とした200Bトークンでトレーニングし、その後CoTに着目した3つのブランチで20Bトークンを学習速度を劣化させた。
  論文  参考訳（メタデータ） (2025-06-25T14:58:13Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• Model Checking for Reinforcement Learning in Autonomous Driving: One Can Do More Than You Think! [3.2031003471765285]
  強化学習プラットフォームは、しばしばRLアルゴリズムの設計と訓練性能を強調するが、モデルと報酬関数の正しさを無視する。 本稿では,自動走行システムのモデリングに形式的手法を用い,RL for ADにおけるモデルチェック(MC)の活用方法を示す。
  論文  参考訳（メタデータ） (2024-11-21T18:09:20Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。