論文の概要: Where to Intervene: Action Selection in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2507.04187v1
• Date: Sat, 05 Jul 2025 23:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.05818
• Title: Where to Intervene: Action Selection in Deep Reinforcement Learning
• Title（参考訳）: 介入すべき場所:深層強化学習における行動選択
• Authors: Wenbo Zhang, Hengrui Cai,
• Abstract要約: 本稿では,モデルフリーで計算に親しみやすい特性を持つ汎用データ駆動型行動選択手法を提案する。 提案手法は,最小限の動作を選択するだけでなく,ノックオフサンプリングによる誤検出率も制御する。
• 参考スコア（独自算出の注目度）: 5.470195794278266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning (RL) has gained widespread adoption in recent years but faces significant challenges, particularly in unknown and complex environments. Among these, high-dimensional action selection stands out as a critical problem. Existing works often require a sophisticated prior design to eliminate redundancy in the action space, relying heavily on domain expert experience or involving high computational complexity, which limits their generalizability across different RL tasks. In this paper, we address these challenges by proposing a general data-driven action selection approach with model-free and computationally friendly properties. Our method not only selects minimal sufficient actions but also controls the false discovery rate via knockoff sampling. More importantly, we seamlessly integrate the action selection into deep RL methods during online training. Empirical experiments validate the established theoretical guarantees, demonstrating that our method surpasses various alternative techniques in terms of both performance in variable selection and overall achieved rewards.
• Abstract（参考訳）: 近年、深層強化学習(RL)が広く普及しているが、特に未知の複雑な環境では大きな課題に直面している。 これらのうち、高次元の行動選択は重要な問題である。 既存の作業はアクション空間の冗長性を排除し、ドメインエキスパートの経験やRLタスク間の一般化性を制限する高い計算複雑性に大きく依存する、洗練された事前設計を必要とすることが多い。 本稿では,モデルフリーで計算フレンドリーな特性を持つ汎用データ駆動型行動選択手法を提案する。 提案手法は,最小限の動作を選択するだけでなく,ノックオフサンプリングによる誤検出率も制御する。 さらに重要なことは、オンライントレーニング中にアクション選択を深いRLメソッドにシームレスに統合することです。 実験によって確立された理論的保証を検証し,変数選択における性能と総合的な報奨の両面で,本手法が様々な代替技術を上回ることを示した。

関連論文リスト

• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Combinatorial Optimization with Policy Adaptation using Latent Space Search [44.12073954093942]
  本稿では,複雑なNPハード問題を解くために,パフォーマンスアルゴリズムを設計するための新しいアプローチを提案する。 我々の検索戦略は11の標準ベンチマークタスクにおける最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T12:24:54Z)
• Stepsize Learning for Policy Gradient Methods in Contextual Markov Decision Processes [35.889129338603446]
  ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。 彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。 メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
  論文  参考訳（メタデータ） (2023-06-13T12:58:12Z)
• Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
  本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。 提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。 多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-27T15:18:54Z)
• A Transferable and Automatic Tuning of Deep Reinforcement Learning for Cost Effective Phishing Detection [21.481974148873807]
  現実の課題の多くは、複数の補完的な学習モデルのアンサンブルを配置する必要がある。 Deep Reinforcement Learning (DRL) はコスト効率のよい代替手段であり、検出器は前者の出力に基づいて動的に選択される。
  論文  参考訳（メタデータ） (2022-09-19T14:09:07Z)
• Soft Hindsight Experience Replay [77.99182201815763]
  ソフト・ハイドサイト・エクスペリエンス・リプレイ(SHER)は,HERと最大エントロピー強化学習(MERL)に基づく新しいアプローチである オープンAIロボット操作タスクにおけるSHERの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。