論文の概要: POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles

• arxiv url: http://arxiv.org/abs/2605.07775v1
• Date: Fri, 08 May 2026 14:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.104023
• Title: POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles
• Title（参考訳）: POETS:Compute-Efficient Policy Ensemblesによる不確実性を考慮したLLM最適化
• Authors: Nicolas Menet, Andreas Krause, Abbas Rahimi,
• Abstract要約: POETSは不確実性定量化と政策最適化を橋渡しする新しいフレームワークである。 我々のアプローチは、KL(Kulback-Leibler)正規化で訓練されたポリシーが、基礎となる報酬関数を暗黙的にエンコードするという知見に基づいている。 我々はPOETSが様々な科学的発見領域にまたがって最先端のサンプル効率を実現することを実証する。
• 参考スコア（独自算出の注目度）: 35.88280776565273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Balancing exploration and exploitation is a core challenge in sequential decision-making and black-box optimization. We introduce POETS ($\textbf{Po}$licy $\textbf{E}$nsembles for $\textbf{T}$hompson $\textbf{S}$ampling), a novel framework that bridges uncertainty quantification and policy optimization. Our approach is grounded in the insight that policies trained with Kullback-Leibler (KL) regularization implicitly encode an underlying reward function. Building on this, POETS bypasses the complex, nested process of training an uncertainty-aware reward model and separately fitting a policy to this model. Instead, we directly train a policy ensemble to capture epistemic uncertainty by matching implicitly encoded reward functions to online, bootstrapped data. To overcome the prohibitive compute and memory constraints of ensembling Large Language Models (LLMs), POETS utilizes an efficient architecture: the ensemble shares a pre-trained backbone while maintaining diversity through independent Low-Rank Adaptation (LoRA) branches. Theoretically, we prove that POETS implicitly conducts KL-regularized Thompson sampling and thus inherits strong cumulative regret bounds of ${\mathcal O}(\sqrt{T γ_T})$. Empirically, we demonstrate that POETS achieves state-of-the-art sample efficiency across diverse scientific discovery domains, including protein search and quantum circuit design. Furthermore, it improves the optimization trajectories of reinforcement learning, proving particularly robust in off-policy settings with experience replay or in small dataset regimes.
• Abstract（参考訳）: 調査と搾取のバランスをとることは、シーケンシャルな意思決定とブラックボックス最適化における中核的な課題である。 POETS$\textbf{Po}$licy $\textbf{E}$nsembles for $\textbf{T}$hompson $\textbf{S}$ampling は不確かさの定量化と政策最適化を橋渡しする新しいフレームワークである。 我々のアプローチは、KL(Kulback-Leibler)正規化で訓練されたポリシーが、基礎となる報酬関数を暗黙的にエンコードするという知見に基づいている。 これに基づいて、POETSは不確実性を認識した報酬モデルをトレーニングし、このモデルにポリシーを個別に適合させる複雑なネストされたプロセスをバイパスする。 代わりに、暗黙的に符号化された報酬関数をオンラインでブートストラップされたデータに一致させることで、疫学の不確実性を捉えるためにポリシーアンサンブルを直接訓練する。 LLM(Large Language Models)の禁止された計算とメモリの制約を克服するために、POETSは効率的なアーキテクチャを使用する: アンサンブルは、独立したローランド適応(LoRA)ブランチを通じて多様性を維持しながら、事前訓練されたバックボーンを共有する。 理論的には、POETSはKL正規化トンプソンサンプリングを暗黙的に実行し、従って${\mathcal O}(\sqrt{T γ_T})$の強い累積後悔境界を継承する。 実験により,POETSはタンパク質探索や量子回路設計を含む様々な科学的発見領域において,最先端のサンプル効率を実現することを示した。 さらに、強化学習の最適化トラジェクトリを改善し、特に経験的なリプレイや小さなデータセットレシエーションを伴う、政治外の環境で堅牢であることを示す。

関連論文リスト

• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• SOUP: Token-level Single-sample Mix-policy Reinforcement Learning for Large Language Models [67.41779761651924]
  SOUPは、トークンレベルで個々のサンプル内でオフとオンの学習を統合するフレームワークである。 標準のオン・ポリティクス・トレーニングと既存のオフ・ポリティクス・エクステンションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-29T09:56:15Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards [47.557539197058496]
  逆推論のためのランダムポリシー評価(ROVER)について紹介する。 ROVERは、一様政体Q値上のソフトマックスから作用をサンプリングする最小限だが高効率なRL法である。 textbfquality(textbf+8.2 on pass@1, textbf+16.8 on pass@256)と textbfdiversity(textbf+17.6%)の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-09-29T16:09:07Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• Adaptive Exploration for Multi-Reward Multi-Policy Evaluation [26.03922159496432]
  オンラインマルチリワードマルチ政治ディスカウント設定における政策評価問題 我々は、$epsilon$-accurate 推定の観点を採用して、有限あるいは凸な報酬の集合に対して$epsilon$accurate 推定を達成する。
  論文  参考訳（メタデータ） (2025-02-04T17:35:51Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
  我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。 ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。 我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-10-10T02:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。