論文の概要: JumpStart Your Policy Learning with Lessons from 160,000 Training Runs

• arxiv url: http://arxiv.org/abs/2609.13730v1
• Date: Sat, 12 Sep 2026 05:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.487638
• Title: JumpStart Your Policy Learning with Lessons from 160,000 Training Runs
• Title（参考訳）: JumpStart:16万回のトレーニングから学んだことによる政策学習
• Abstract要約: オフライン強化と模倣学習に関する大規模な実証的研究を行い、114のデータセットで16万以上のポリシーをトレーニングする。 この規模では、アルゴリズムは支配的ではないが、リーダーは環境によって大きく異なる。 実践者に対してタスク固有のアルゴリズムレコメンデーションを提供するデータセット条件付きレコメンデータを開発した。
• 参考スコア（独自算出の注目度）: 25.835693365637553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable progress in offline policy learning depends on careful reporting, well-tuned baselines, and evaluation across diverse conditions. Prior work has shown that results can be sensitive to reporting choices, hyperparameter tuning, and dataset properties, but these sources of variability have not been systematically investigated together at the scale needed to understand how they shape conclusions. To address this gap, we present a large-scale empirical study of offline reinforcement and imitation learning, training over 160,000 policies across 114 datasets. At this scale, no algorithm dominates: aggregate performance among the strongest methods is often close, but the leaders differ substantially across environments. We find that proper hyperparameter tuning frequently reshuffles perceived algorithm rankings and that benchmark composition can produce conflicting conclusions. We also study hyperparameter sensitivity and transfer across environments, identifying a simple strategy for deriving strong default configurations. We use our findings to develop a dataset-conditioned recommender that provides task-specific algorithm recommendations for practitioners. Finally, we release JumpStart: a resource suite containing every trained policy, per-model scores and hyperparameters, strong baselines across all environments, training and evaluation code, and an extensible website for retrieving, analyzing, and contributing results. Together, these resources aim to make offline policy-learning research more reliable and enable future work beyond the scope of this study.
• Abstract（参考訳）: オフライン政策学習の信頼性の高い進歩は、注意深い報告、よく調整されたベースライン、様々な条件における評価に依存する。 以前の研究では、結果がレポートの選択、ハイパーパラメータチューニング、データセット特性に敏感であることが示されているが、これらの変動源は、どのように結論を形作るかを理解するのに必要なスケールで、体系的に研究されていない。 このギャップに対処するために、オフラインの強化と模倣学習に関する大規模な実証的研究を行い、114のデータセットで16万以上のポリシーをトレーニングする。 この規模では、アルゴリズムが支配的ではない。最強のメソッド間での集約的なパフォーマンスは、しばしば近いが、リーダーは環境によって大きく異なる。 適切なハイパーパラメータチューニングは、認識されたアルゴリズムのランク付けを頻繁に再シャッフルし、ベンチマーク合成が矛盾する結論を導き出すことができる。 また、高パラメータ感度と環境間の移動について検討し、強力なデフォルト設定を導出するための単純な戦略を特定する。 本研究は,実践者に対してタスク固有のアルゴリズムレコメンデーションを提供するデータセット条件付レコメンデータの開発に利用した。 最後に、JumpStartをリリースした。これは、トレーニングされたポリシ、モデル毎のスコアとハイパーパラメータ、すべての環境にわたる強力なベースライン、トレーニングと評価コード、結果の検索、分析、コントリビューションのための拡張可能なWebサイトを含むリソーススイートです。 これらのリソースは、オフラインのポリシー学習研究をより信頼性が高くし、研究の範囲を超えて今後の研究を可能にすることを目的としている。

関連論文リスト

• Selectivity Estimation for Linear Queries via Online Learning [11.29650541707789]
  本稿では,動的設定によるクエリの選択性学習のためのアルゴリズムフレームワークを提案する。 オンライン学習に触発されて、この環境での学習アルゴリズムの性能を後悔して測定する。
  論文  参考訳（メタデータ） (2026-07-03T02:44:32Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• Enhancing Offline Reinforcement Learning with Curriculum Learning-Based Trajectory Valuation [6.4653739435880455]
  深層強化学習(DRL)は、訓練データの可用性と品質に依存しており、しばしば特定の環境との広範な相互作用を必要とする。 データ収集が高価でリスクの高い現実のシナリオでは、オフライン強化学習(RL)は、ドメインの専門家が収集したデータを活用し、バッチ制約のある最適ポリシーを探索することで、ソリューションを提供する。 既存のオフラインRLメソッドは、外部ソースからの非マッチングデータによって引き起こされる課題に悩まされることが多い。
  論文  参考訳（メタデータ） (2025-02-02T00:03:53Z)
• Proto Successor Measure: Representing the Behavior Space of an RL Agent [37.55496993803242]
  汎用強化学習アルゴリズムでは「ゼロショット学習」が有効である。 本稿では,強化学習エージェントのすべての行動に対する基礎セットとして,Proto Successor Measureを提案する。 我々は,環境から報酬のないインタラクションデータを用いて,これらの基礎関数を学習する実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-11-29T00:09:39Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
  オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。 実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。 より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。 提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
  論文  参考訳（メタデータ） (2022-03-16T21:17:03Z)
• Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
  課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。 これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。 これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
  論文  参考訳（メタデータ） (2021-03-23T17:49:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。