論文の概要: Deconstructing Actor-Critic: A Large-scale Empirical Study of Design Components for Practitioners

• arxiv url: http://arxiv.org/abs/2607.13274v1
• Date: Tue, 14 Jul 2026 21:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.593584
• Title: Deconstructing Actor-Critic: A Large-scale Empirical Study of Design Components for Practitioners
• Title（参考訳）: デコンストラクティング・アクター・クリティカル--実践者のためのデザイン・コンポーネントの大規模実証研究-
• Abstract要約: 現実世界のシステムを制御するため、強化学習はますます検討されている。 アクター批判アルゴリズムは、ポリシーの更新方法など、一連の設計上の決定を共有している。 33,000以上の実験を分析して、これらのコンポーネントが実行時の変動にどのように影響するかを調べます。
• 参考スコア（独自算出の注目度）: 20.80238495293659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning is increasingly being considered for controlling real-world systems, from fusion plasma and autonomous vehicles to drug discovery and drinking water treatment, where reliability is essential and tuning budgets are limited. Actor-critic algorithms share a set of design decisions, such as how the policy is updated, how it represents the distribution over actions, how its gradient is estimated, and how often it is updated relative to the value estimator. Using a control task derived from a real water treatment plant, we analyze over 33,000 experiments to determine how these components affect variability across runs and sensitivity to hyperparameters. Common defaults, such as Gaussian action distributions with pathwise gradient estimators, are among the least reliable configurations, whereas bounded distributions with adaptive update schedules remain robust across a wide range of settings. These findings offer empirical guidance to practitioners across scientific and engineering domains for understanding and making component-level decisions when adapting actor-critic methods to new real-world control settings.
• Abstract（参考訳）: 核融合プラズマや自動運転車から薬物発見や飲料水処理まで、信頼性が不可欠であり、調整予算が限られている現実世界のシステムを制御するために、強化学習がますます検討されている。 アクター批判アルゴリズムは、ポリシーの更新方法、アクション上の分布の表現方法、勾配の推定方法、値推定器に対する更新頻度など、一連の設計上の決定を共有している。 実際の水処理プラントから派生した制御タスクを用いて、33,000以上の実験を解析し、これらの成分が過度パラメータの変動と過度パラメータに対する感受性にどのように影響するかを調べた。 パスワイド勾配推定器を備えたガウスの動作分布のような一般的なデフォルトは、信頼性の低い構成である一方、適応的な更新スケジュールを持つ有界分布は、幅広い設定で堅牢である。 これらの知見は、アクター批判的な手法を新しい現実世界の制御設定に適用する際のコンポーネントレベルの決定を理解し、行うための、科学的および工学領域の実践者に実証的なガイダンスを提供する。

関連論文リスト

• Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
  本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。 画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
  論文  参考訳（メタデータ） (2026-07-29T05:16:59Z)
• Decision-Driven Geosteering Under Uncertainty: A Unified Framework for Sequential Decision Optimization [0.0]
  ジオステアリングは、未知の地質構造を通して良好な軌道をナビゲートする必要がある。 本研究では,粒子フィルタリングと確率的地下解釈,および逐次決定のための値に基づく強化学習を統合した不確実性を考慮したジオステアリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-15T22:22:13Z)
• Uncertainty Estimation for Deep Reconstruction in Actuatic Disaster Scenarios with Autonomous Vehicles [68.82821445619759]
  原理的不確実性定量化は 能動センシング戦略に不可欠です Evidential Deep Learningは、すべてのセンサ構成で最高の再構築精度と不確実性校正を実現する。 これらの知見は、リアルタイムの自動運転車配備における不確実性認識フィールド再構築の方法として、エビデンシャル・ディープ・ラーニングを支持している。
  論文  参考訳（メタデータ） (2026-04-07T19:17:44Z)
• A Comedy of Estimators: On KL Regularization in RL Training of LLMs [81.7906270099878]
  強化学習(RL)は,大規模言語モデル(LLM)の推論性能を大幅に向上させる LLMトレーニングのRLの目的は、トレーニングされたポリシーと参照ポリシーの間の逆のKL(Kullback-Leibler)分岐である正規化項を含む。 近年の研究では、KL正則化の実施が目的の正しい勾配を与えていないことが示されており、目的と実施の相違が生じている。 いくつかの推定器構成の勾配について検討し、設計選択が勾配バイアスをどう形成するかを明らかにする。
  論文  参考訳（メタデータ） (2025-12-26T04:20:58Z)
• Decision-focused Sensing and Forecasting for Adaptive and Rapid Flood Response: An Implicit Learning Approach [4.746115078755406]
  タイムリーで信頼性の高い意思決定は、洪水の緊急対応に不可欠である。 従来の洪水管理システムは、リモートセンシングに基づく大規模な洪水深度予測モデルをキャリブレーションするために、in-situセンサーに依存していることが多い。 In-situ センサー配置のための位置を戦略的に選択する新しい決定中心のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-15T09:47:00Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Discovering Decision Manifolds to Assure Trusted Autonomous Systems [0.0]
  本稿では,システムが提示できる正誤応答の範囲を最適化した探索手法を提案する。 この多様体は、従来のテストやモンテカルロシミュレーションよりもシステムの信頼性をより詳細に理解する。 この概念実証では,本手法を自動運転車のループ内ソフトウェア評価に適用する。
  論文  参考訳（メタデータ） (2024-02-12T16:55:58Z)
• A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
  多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。 公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。 検出器のキャリブレーションが低い理由について、新しい知見を提供する。
  論文  参考訳（メタデータ） (2022-10-06T14:06:36Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。