論文の概要: Is a Good Foundation Necessary for Efficient Reinforcement Learning? The Computational Role of the Base Model in Exploration

• arxiv url: http://arxiv.org/abs/2503.07453v2
• Date: Thu, 13 Mar 2025 23:15:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:04:58.769272
• Title: Is a Good Foundation Necessary for Efficient Reinforcement Learning? The Computational Role of the Base Model in Exploration
• Title（参考訳）: 効率的な強化学習のための良い基礎は必要か? : 探索における基礎モデルの計算的役割
• Authors: Dylan J. Foster, Zakaria Mhammedi, Dhruv Rohatgi,
• Abstract要約: 本稿では,言語モデルを用いたRLの新しい計算フレームワークを提案する。 データ効率には必要ありませんが、フレームワーク内の任意のアルゴリズムのランタイムのバウンダリは低くなっています。 SpannerSamplingというアルゴリズムを導入し,事前学習したモデルが十分なカバレッジを享受するたびに,最適なデータ効率と計算効率を実現する。
• 参考スコア（独自算出の注目度）: 32.77845864484552
• License:
• Abstract: Language model alignment (or, reinforcement learning) techniques that leverage active exploration -- deliberately encouraging the model to produce diverse, informative responses -- offer the promise of super-human capabilities. However, current understanding of algorithm design primitives for computationally efficient exploration with language models is limited. To better understand how to leverage access to powerful pre-trained generative models to improve the efficiency of exploration, we introduce a new computational framework for RL with language models, in which the learner interacts with the model through a sampling oracle. Focusing on the linear softmax model parameterization, we provide new results that reveal the computational-statistical tradeoffs of efficient exploration: 1. Necessity of coverage: Coverage refers to the extent to which the pre-trained model covers near-optimal responses -- a form of hidden knowledge. We show that coverage, while not necessary for data efficiency, lower bounds the runtime of any algorithm in our framework. 2. Inference-time exploration: We introduce a new algorithm, SpannerSampling, which obtains optimal data efficiency and is computationally efficient whenever the pre-trained model enjoys sufficient coverage, matching our lower bound. SpannerSampling leverages inference-time computation with the pre-trained model to reduce the effective search space for exploration. 3. Insufficiency of training-time interventions: We contrast the result above by showing that training-time interventions that produce proper policies cannot achieve similar guarantees in polynomial time. 4. Computational benefits of multi-turn exploration: Finally, we show that under additional representational assumptions, one can achieve improved runtime (replacing sequence-level coverage with token-level coverage) through multi-turn exploration.
• Abstract（参考訳）: 言語モデルのアライメント(あるいは強化学習)技術は、活発な探索(多様で情報的な応答を生み出すよう意図的に促す)を活用することで、超人的能力の約束を提供する。 しかし、計算効率の良い言語モデル探索のためのアルゴリズム設計プリミティブの現在の理解は限られている。 そこで本研究では,学習者が学習する言語モデルを用いたRLの新しい計算フレームワークを提案する。 線形ソフトマックスモデルのパラメータ化に着目して、効率的な探索の計算統計的トレードオフを明らかにする新しい結果を提供する。 1. カバレッジの必要性: 事前学習されたモデルが、隠れた知識の形式である最適に近い応答をカバーする範囲を指す。 データ効率には必要ありませんが、フレームワーク内の任意のアルゴリズムのランタイムのバウンダリは低くなっています。 2. 推測時間探索: SpannerSamplingというアルゴリズムを導入し, 事前学習したモデルが十分なカバレッジを享受し, 下限と一致する場合, 最適なデータ効率を得る。 SpannerSamplingは、事前訓練されたモデルによる推論時間計算を利用して、探索に有効な検索スペースを削減する。 3) トレーニング時間介入の不十分性: 適切なポリシーを策定するトレーニング時間介入が多項式時間において同様の保証を達成できないことを示すことで, 上記の結果と対比する。 4) マルチターン探索の計算上の利点: 最後に, 追加の表現的仮定の下で, マルチターン探索により, 改良されたランタイム(トークンレベルのカバレッジを付加したシーケンスレベルのカバレッジ)を実現できることを示す。

関連論文リスト

• Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
  人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。 我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。 XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2024-05-31T17:39:06Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Posterior Sampling for Deep Reinforcement Learning [0.0]
  本稿では, 深層強化学習のための後方サンプリング (PSDRL) について紹介する。 Atariベンチマークの実験では、PSDRLは後方サンプリングをスケールアップする従来の最先端の試行を著しく上回っている。
  論文  参考訳（メタデータ） (2023-04-30T13:23:50Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。