論文の概要: Model Selection for Off-policy Evaluation: New Algorithms and Experimental Protocol

• arxiv url: http://arxiv.org/abs/2502.08021v2
• Date: Fri, 16 May 2025 02:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:12.179513
• Title: Model Selection for Off-policy Evaluation: New Algorithms and Experimental Protocol
• Title（参考訳）: オフ政治評価のためのモデル選択:新しいアルゴリズムと実験的プロトコル
• Authors: Pai Liu, Lingfeng Zhao, Shivangi Agarwal, Jinghan Liu, Audrey Huang, Philip Amortila, Nan Jiang,
• Abstract要約: オフライン強化学習のためのモデルフリー・モデルベースセレクタを開発した。 従来のモデルフリープロトコルと比較して、新しいプロトコルではより安定した生成と候補値関数の制御が可能である。 我々の新しいモデルフリーセレクタであるLSTD-Tournamentは有望な経験的性能を示す。
• 参考スコア（独自算出の注目度）: 12.46794226683161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Holdout validation and hyperparameter tuning from data is a long-standing problem in offline reinforcement learning (RL). A standard framework is to use off-policy evaluation (OPE) methods to evaluate and select the policies, but OPE either incurs exponential variance (e.g., importance sampling) or has hyperparameters on their own (e.g., FQE and model-based). In this work we focus on hyperparameter tuning for OPE itself, which is even more under-investigated. Concretely, we select among candidate value functions ("model-free") or dynamics ("model-based") to best assess the performance of a target policy. We develop: (1) new model-free and model-based selectors with theoretical guarantees, and (2) a new experimental protocol for empirically evaluating them. Compared to the model-free protocol in prior works, our new protocol allows for more stable generation and better control of candidate value functions in an optimization-free manner, and evaluation of model-free and model-based methods alike. We exemplify the protocol on Gym-Hopper, and find that our new model-free selector, LSTD-Tournament, demonstrates promising empirical performance.
• Abstract（参考訳）: データからのホールドアウト検証とハイパーパラメータチューニングは、オフライン強化学習(RL)における長年の問題である。 標準フレームワークは、政策の評価と選択にOPE(O off-policy Evaluation)メソッドを使用するが、OPEは指数的分散(例えば、重要サンプリング)を発生させるか、独自のハイパーパラメータ(例えば、FQE、モデルベース)を持つ。 本研究では,OPE自体のハイパーパラメータチューニングに着目する。 具体的には、対象ポリシーの性能を最適に評価するために、候補値関数(モデルフリー)または動的関数(モデルベース)を選択する。 提案手法は,(1)理論的保証付きモデルフリー・モデルベースセレクタ,(2)実験的に評価するための新しい実験プロトコルである。 従来のモデルフリープロトコルと比較して、新しいプロトコルでは、最適化のない方法でより安定な生成と候補値関数のより良い制御を可能にし、モデルフリーおよびモデルベースメソッドの評価も可能である。 我々は、Gym-Hopper上のプロトコルを例示し、新しいモデルフリーセレクタであるLSTD-Tournamentが有望な経験的性能を示すことを示した。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection [1.4530711901349282]
  TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
  論文  参考訳（メタデータ） (2024-07-19T11:58:30Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)
• Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning [32.24146877835396]
  本稿では,モデルロールアウト処理を逐次決定問題として扱うフレームワークであるemphPlan To Predict (P2P)を提案する。 P2Pは、いくつかの課題のあるベンチマークタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-20T10:17:22Z)
• Out-of-sample scoring and automatic selection of causal estimators [0.0]
  本稿では,CATEの場合と器楽変数問題の重要な部分集合に対する新しいスコアリング手法を提案する。 私たちはそれを、DoWhyとEconMLライブラリに依存するオープンソースパッケージで実装しています。
  論文  参考訳（メタデータ） (2022-12-20T08:29:18Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic [67.00475077281212]
  モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。 本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。 CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-12-16T15:33:11Z)
• Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings [13.376364233897528]
  強化学習は治療方針を学習し、医療における意思決定を支援するために用いられる。 モデル選択のための標準的な検証パイプラインは、実際の環境で学習したポリシーを実行する必要がある。 我々の研究は、オフラインのRLモデル選択のための実用的なガイドとして機能し、実世界のデータセットを使用してRL実践者がポリシーを選択するのに役立つ。
  論文  参考訳（メタデータ） (2021-07-23T02:41:51Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。