論文の概要: Policy Optimization via Adv2: Adversarial Learning on Advantage Functions

• arxiv url: http://arxiv.org/abs/2310.16473v2
• Date: Mon, 19 May 2025 14:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.10537
• Title: Policy Optimization via Adv2: Adversarial Learning on Advantage Functions
• Title（参考訳）: Adv2による政策最適化: アドバンテージ関数の逆学習
• Authors: Matthieu Jonckheere, Chiara Mignacco, Gilles Stoltz,
• Abstract要約: 対人マルコフ決定過程(MDP)における学習の減少を,Q$-値に基づく対人学習に再考する。 本稿では,移行カーネルが不明な現実的なシナリオにおいて,敵対的MDPにおける学習の減少が敵的学習に与える影響について論じる。
• 参考スコア（独自算出の注目度）: 6.793286055326244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit the reduction of learning in adversarial Markov decision processes [MDPs] to adversarial learning based on $Q$--values; this reduction has been considered in a number of recent articles as one building block to perform policy optimization. Namely, we first consider and extend this reduction in an ideal setting where an oracle provides value functions: it may involve any adversarial learning strategy (not just exponential weights) and it may be based indifferently on $Q$--values or on advantage functions. We then present two extensions: on the one hand, convergence of the last iterate for a vast class of adversarial learning strategies (again, not just exponential weights), satisfying a property called monotonicity of weights; on the other hand, stronger regret criteria for learning in MDPs, inherited from the stronger regret criteria of adversarial learning called strongly adaptive regret and tracking regret. Third, we demonstrate how adversarial learning, also referred to as aggregation of experts, relates to aggregation (orchestration) of expert policies: we obtain stronger forms of performance guarantees in this setting than existing ones, via yet another, simple reduction. Finally, we discuss the impact of the reduction of learning in adversarial MDPs to adversarial learning in the practical scenarios where transition kernels are unknown and value functions must be learned. In particular, we review the literature and note that many strategies for policy optimization feature a policy-improvement step based on exponential weights with estimated $Q$--values. Our main message is that this step may be replaced by the application of any adversarial learning strategy on estimated $Q$--values or on estimated advantage functions. We leave the empirical evaluation of these twists for future research.
• Abstract（参考訳）: 本稿では, 対人マルコフ決定過程(MDP)における学習の削減を, 対人学習に$Q$-値に基づく対人学習に再考する。この削減は近年, 政策最適化を行うための一つのビルディングブロックとして, 第一に, オラクルが価値関数を提供する理想的な設定として検討・拡張されている。 他方では, 反逆的学習戦略において, 反逆的学習戦略(単に指数的ウェイトではなく, 反逆的学習戦略)に対する最後の反復の収束が, 重みの単調性と呼ばれる特性を満たす一方で, 反逆的学習の強い後悔基準から受け継いだMDPにおける学習に対する強い後悔基準が提示される。 第三に、専門家の集合(アグリゲーション)とも呼ばれる敵対的学習が、専門家の政策の集約(オーケストレーション)にどのように関係しているかを実証する。 最後に、遷移カーネルが未知であり、値関数が学習されなければならない現実的なシナリオにおいて、敵対的MDPにおける学習の減少が敵的学習に与える影響について論じる。 特に、本稿では、政策最適化の戦略の多くは、推定$Q$-値の指数重みに基づく政策改善のステップを特徴としており、本ステップは、推定$Q$-値の対角学習戦略の適用や、推定$Q$-値の利点関数の適用によって置き換えられる可能性がある。 我々はこれらのツイストの実証的な評価を今後の研究に残す。

関連論文リスト

• RbRL2.0: Integrated Reward and Policy Learning for Rating-based Reinforcement Learning [1.7095639309883044]
  強化学習(Reinforcement Learning, RL)は、関連する累積リターン/リワードに基づいて様々な経験からポリシーを学習する。 本稿では,効率的な政策学習のために収集した経験を識別することで,人間の意思決定過程を模倣する新しいRL手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T17:19:34Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Handling Cost and Constraints with Off-Policy Deep Reinforcement Learning [2.793095554369282]
  政治外学習の最も一般的な方法は、学習された状態アクション(Q$)値関数が選択されたデータのバッチに対して最大化されるポリシー改善ステップである。 我々は、この戦略を「混合符号」報酬関数を持つ環境で再考する。 この2つ目のアプローチは、混合符号の報酬を持つ連続的な行動空間に適用した場合、リセットによって拡張された最先端の手法よりも一貫して、著しく優れる。
  論文  参考訳（メタデータ） (2023-11-30T16:31:04Z)
• Adversarial Batch Inverse Reinforcement Learning: Learn to Reward from Imperfect Demonstration for Interactive Recommendation [23.048841953423846]
  我々は、強化学習の基礎となる報奨学習の問題に焦点をあてる。 従来のアプローチでは、報酬を得るための追加の手順を導入するか、最適化の複雑さを増大させる。 所望の特性を実現するために, バッチ逆強化学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-30T13:43:20Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
  Skipperはモデルベースの強化学習フレームワークである。 これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。 環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
  論文  参考訳（メタデータ） (2023-09-30T02:25:18Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Performative Reinforcement Learning [8.07595093287034]
  実演安定政策の概念を導入する。 この目的を何度も最適化することは、性能的に安定した政策に収束することを示します。
  論文  参考訳（メタデータ） (2022-06-30T18:26:03Z)
• On the Complexity of Adversarial Decision Making [101.14158787665252]
  決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。 我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
  論文  参考訳（メタデータ） (2022-06-27T06:20:37Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Explaining, Evaluating and Enhancing Neural Networks' Learned Representations [2.1485350418225244]
  より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。 我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。 表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T19:00:01Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning [0.0]
  時間差学習における過大評価バイアスを補償するオフポリティ深い強化学習アルゴリズム。 そこで本研究では,このような悲観主義を実践するために,新たな学習可能なペナルティを提案する。 また,2つのTD学習で批判者とともにペナルティを学習することを提案する。
  論文  参考訳（メタデータ） (2021-10-07T12:13:19Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Taylor Expansion of Discount Factors [56.46324239692532]
  実効強化学習(RL)では、値関数を推定するために使われる割引係数は、評価目的を定義するために使われる値としばしば異なる。 本研究では,この割引要因の相違が学習中に与える影響について検討し,2つの異なる割引要因の値関数を補間する目的のファミリーを発見する。
  論文  参考訳（メタデータ） (2021-06-11T05:02:17Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Adaptive Approximate Policy Iteration [22.915651391812187]
  均一なエルゴディックMDPの学習を継続する学習方法として,$tildeO(T2/3)$ regret bound for undiscounted, continuing learning in uniformly ergodic MDPを提案する。 これは、関数近似を持つ平均逆ケースに対する$tildeO(T3/4)$の最良の既存の境界よりも改善されている。
  論文  参考訳（メタデータ） (2020-02-08T02:27:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。