Fugu-MT 論文翻訳(概要): On Generalization and Distributional Update for Mimicking Observations with Adequate Exploration

論文の概要: On Generalization and Distributional Update for Mimicking Observations with Adequate Exploration

arxiv url: http://arxiv.org/abs/2501.12785v1
Date: Wed, 22 Jan 2025 10:37:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-23 16:53:33.836889
Title: On Generalization and Distributional Update for Mimicking Observations with Adequate Exploration
Title（参考訳）: Adequate Explorationによる微視的観測の一般化と分布更新について
Authors: Yirui Zhou, Xiaowei Liu, Xiaofeng Zhang, Yangchun Zhang,
Abstract要約: 本稿では,LfO(LfO)の学習における効率性と安定性の問題に取り組む。 GAIfO(Generative Adversarial mimicion from Observation, GAIfO)の組込み強化学習(RL)アプローチを分散ソフトアクター批判(DSAC)に置き換える。この変化は、適切な探索(MODULE)による分布更新学習によるミミキング観測と呼ばれる新しいアルゴリズムをもたらす。
参考スコア（独自算出の注目度）: 6.938916004738063
License:
Abstract: This paper tackles the efficiency and stability issues in learning from observations (LfO). We commence by investigating how reward functions and policies generalize in LfO. Subsequently, the built-in reinforcement learning (RL) approach in generative adversarial imitation from observation (GAIfO) is replaced with distributional soft actor-critic (DSAC). This change results in a novel algorithm called Mimicking Observations through Distributional Update Learning with adequate Exploration (MODULE), which combines soft actor-critic's superior efficiency with distributional RL's robust stability.
Abstract（参考訳）: 本稿では,LfO(LfO)の学習における効率性と安定性の問題に取り組む。報酬関数とポリシーがLfOでどのように一般化するかを調べることで開始する。その後, GAIfO (Generative adversarial mimicion from Observation) の組込み強化学習 (RL) アプローチを, 分散ソフトアクター・クリティック (DSAC) に置き換えた。この変更により、分散更新学習によるミミキング観察と適切な探索(MODULE)と呼ばれる新しいアルゴリズムが実現され、ソフトアクター・クリティックの優れた効率と分散RLの堅牢な安定性が組み合わされる。

関連論文リスト

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL [7.988692259455583]
Reinforcement Learning from Human Feedbackで訓練された大規模言語モデル(LLM)は、目覚ましい能力を示しているが、その基盤となる報酬関数や意思決定プロセスは不透明である。本稿では, 逆強化学習(IRL)を用いて暗黙の報酬関数を復元することにより, LLMを解釈する新しい手法を提案する。我々は,ヒトの嗜好を予測する上で,最大80.40%の精度を達成できる報酬モデルを抽出し,様々な大きさの毒性アライメントLDMについて実験を行った。
論文参考訳（メタデータ） (2024-10-16T12:14:25Z)
Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。以上の結果から,PbMARLの多面的アプローチが示唆された。
論文参考訳（メタデータ） (2024-09-01T13:14:41Z)
Assessing the Impact of Distribution Shift on Reinforcement Learning Performance [0.0]
強化学習(RL)は独自の課題に直面する。点推定と訓練中の最適方針への収束を成功させるプロットの比較は、実験装置への過度な適合や依存を阻害する可能性がある。本稿では,分散シフト下でのRLアルゴリズムのロバスト性を評価するための評価手法を提案する。
論文参考訳（メタデータ） (2024-02-05T23:50:55Z)
Noise Distribution Decomposition based Multi-Agent Distributional Reinforcement Learning [15.82785057592436]
マルチエージェント強化学習(MARL)は、インテリジェントエージェント間の干渉によるノイズの影響を受けやすい。本稿では,グローバル共有雑音報酬を近似することで,分解に基づく新しいマルチエージェント分布RL法を提案する。また,提案手法の有効性を,雑音を考慮した広範囲なシミュレーション実験により検証した。
論文参考訳（メタデータ） (2023-12-12T07:24:15Z)
Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。モデルに基づくベイズ強化学習の観点から問題を考察する。本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文参考訳（メタデータ） (2023-08-12T14:59:19Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Exploration with Multi-Sample Target Values for Distributional Reinforcement Learning [20.680417111485305]
分散RLのマルチサンプル目標値(MTV)を,単一サンプル目標値推定の原則的代替として導入する。改良された分布推定は UCB ベースの探査に寄与する。我々は,一連の連続制御タスクに対するアプローチを評価し,ヒューマノイド制御のような難易度の高いタスクに対して,最先端のモデルフリー性能を示す。
論文参考訳（メタデータ） (2022-02-06T03:27:05Z)
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
論文参考訳（メタデータ） (2021-10-22T22:07:51Z)
Bayesian Distributional Policy Gradients [2.28438857884398]
分布強化学習は、報酬対移動の確率分布全体を維持する。返品だ Bayesian Distributional Policy Gradients (BDPG) は、共同コントラスト学習における逆行訓練を用いて、リターンから変動後部を推定する。
論文参考訳（メタデータ） (2021-03-20T23:42:50Z)
Off-Policy Imitation Learning from Observations [78.30794935265425]
観察からの学習(lfo)は、多くのアプリケーションが利用できる実用的な強化学習シナリオである。オフポリシ最適化を原則的に実現するサンプル効率の高いLfOアプローチを提案する。我々のアプローチは、サンプル効率と性能の両面で最先端のロコモーションに匹敵する。
論文参考訳（メタデータ） (2021-02-25T21:33:47Z)
Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。