論文の概要: Maximum diffusion reinforcement learning
- arxiv url: http://arxiv.org/abs/2309.15293v4
- Date: Thu, 28 Dec 2023 19:27:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 01:31:56.379383
- Title: Maximum diffusion reinforcement learning
- Title(参考訳): 最大拡散強化学習
- Authors: Thomas A. Berrueta, Allison Pinosky, Todd D. Murphey
- Abstract要約: 我々はエルゴード過程の統計力学を利用して、最大拡散強化学習と呼ぶ。
提案手法は,よく知られた最大エントロピー手法を一般化し,最先端性能を頑健に上回ることを示す。
我々の研究結果は、ロボットや自動運転車などの強化学習エージェントにおいて、より透明で信頼性の高い意思決定への道を開いた。
- 参考スコア(独自算出の注目度): 8.242701221163413
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The assumption that data are independent and identically distributed
underpins all machine learning. When data are collected sequentially from agent
experiences this assumption does not generally hold, as in reinforcement
learning. Here, we derive a method that overcomes these limitations by
exploiting the statistical mechanics of ergodic processes, which we term
maximum diffusion reinforcement learning. By decorrelating agent experiences,
our approach provably enables single-shot learning in continuous deployments
over the course of individual task attempts. Moreover, we prove our approach
generalizes well-known maximum entropy techniques, and robustly exceeds
state-of-the-art performance across popular benchmarks. Our results at the
nexus of physics, learning, and control pave the way towards more transparent
and reliable decision-making in reinforcement learning agents, such as
locomoting robots and self-driving cars.
- Abstract(参考訳): データが独立しているという仮定は、すべての機械学習を支えている。
エージェント経験から順次データが収集される場合、強化学習のように、一般的にこの仮定は持たない。
ここでは,最大拡散強化学習(maximum diffusion reinforcement learning)と呼ぶエルゴード過程の統計力学を活用し,これらの限界を克服する手法を導出する。
エージェントエクスペリエンスを分離することで,個々のタスク試行を通じて,継続的デプロイメントにおけるシングルショット学習を可能にします。
さらに,本手法は,よく知られた最大エントロピー手法を一般化し,一般的なベンチマークにおける最先端性能を著しく上回ることを示す。
nexus of physics, learning, and controlの結果は、ロボットや自動運転車などの強化学習エージェントにおける、より透明で信頼性の高い意思決定への道を開くものでした。
関連論文リスト
- Beyond One Model Fits All: Ensemble Deep Learning for Autonomous
Vehicles [16.398646583844286]
本研究では,Mediated Perception, Behavior Reflex, Direct Perceptionの3つの異なるニューラルネットワークモデルを紹介する。
我々のアーキテクチャは、グローバルなルーティングコマンドを使用して、ベース、将来の潜伏ベクトル予測、補助タスクネットワークからの情報を融合し、適切なアクションサブネットワークを選択する。
論文 参考訳(メタデータ) (2023-12-10T04:40:02Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳(メタデータ) (2023-11-21T21:05:21Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳(メタデータ) (2023-08-26T07:55:32Z) - Discovering How Agents Learn Using Few Data [32.38609641970052]
本稿では,単一系軌道の短いバーストを用いたエージェント動作のリアルタイム同定のための理論的,アルゴリズム的なフレームワークを提案する。
提案手法は, 平衡選択やカオスシステムの予測など, 様々なベンチマークにおいて, 真の力学を正確に再現する。
これらの結果から,戦略的マルチエージェントシステムにおいて,効果的な政策と意思決定を支援する可能性が示唆された。
論文 参考訳(メタデータ) (2023-07-13T09:14:48Z) - Unsupervised Self-Driving Attention Prediction via Uncertainty Mining
and Knowledge Embedding [51.8579160500354]
本研究では、不確実性モデリングと知識統合の駆動による自動運転の注意を予測できる教師なし手法を提案する。
結果は、完全に教師された最先端のアプローチと比較して、同等またはさらに印象的なパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-03-17T00:28:33Z) - Imitation Is Not Enough: Robustifying Imitation with Reinforcement
Learning for Challenging Driving Scenarios [147.16925581385576]
シミュレーション学習と強化学習を組み合わせることで,運転方針の安全性と信頼性が大幅に向上することを示す。
都会の運転データ100万マイル以上でポリシーを訓練し、異なるレベルの衝突確率でグループ化されたテストシナリオにおける有効性を測定する。
論文 参考訳(メタデータ) (2022-12-21T23:59:33Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳(メタデータ) (2022-03-18T16:50:38Z) - Engineering the Neural Automatic Passenger Counter [0.0]
我々は、信頼性、性能、そして品質のカウントを向上させるために、機械学習の様々な側面を探求し、活用する。
アンサンブル量子化のようなアグリゲーション技術がバイアスを減少させる方法を示し、その結果の全体的拡散について考察する。
論文 参考訳(メタデータ) (2022-03-02T14:56:11Z) - Model-based versus Model-free Deep Reinforcement Learning for Autonomous
Racing Cars [46.64253693115981]
本稿では,モデルに基づく深層強化学習エージェントが現実世界の自律車両制御タスクに一般化する方法について検討する。
本稿では,想像力で学習可能なモデルベースエージェント,パフォーマンス,サンプル効率,タスク完了,一般化に関して,モデルフリーエージェントを実質的に上回っていることを示す。
論文 参考訳(メタデータ) (2021-03-08T17:15:23Z) - PsiPhi-Learning: Reinforcement Learning with Demonstrations using
Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。
Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
論文 参考訳(メタデータ) (2021-02-24T21:12:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。