論文の概要: Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations

• arxiv url: http://arxiv.org/abs/2412.18781v1
• Date: Wed, 25 Dec 2024 05:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:24:48.176765
• Title: Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
• Title（参考訳）: 行動摂動に対するロボット制御のためのオフライン強化学習のロバスト性評価
• Authors: Shingo Ayabe, Takuto Otomo, Hiroshi Kera, Kazuhiko Kawamoto,
• Abstract要約: オフライン強化学習は特に ロボット制御の応用に有望です ロボットの関節アクチュエータ障害のような現実世界の課題に対する堅牢性は、依然として重要な関心事である。 本研究は,OpenAI Gymの脚ロボットを用いた既存のオフライン強化学習手法のロバスト性を評価する。
• 参考スコア（独自算出の注目度）: 4.849820402342814
• License:
• Abstract: Offline reinforcement learning, which learns solely from datasets without environmental interaction, has gained attention. This approach, similar to traditional online deep reinforcement learning, is particularly promising for robot control applications. Nevertheless, its robustness against real-world challenges, such as joint actuator faults in robots, remains a critical concern. This study evaluates the robustness of existing offline reinforcement learning methods using legged robots from OpenAI Gym based on average episodic rewards. For robustness evaluation, we simulate failures by incorporating both random and adversarial perturbations, representing worst-case scenarios, into the joint torque signals. Our experiments show that existing offline reinforcement learning methods exhibit significant vulnerabilities to these action perturbations and are more vulnerable than online reinforcement learning methods, highlighting the need for more robust approaches in this field.
• Abstract（参考訳）: 環境相互作用のないデータセットからのみ学習するオフライン強化学習が注目されている。 従来のオンラインの深層強化学習と同様、このアプローチはロボット制御の応用に特に有望である。 それでも、ロボットの関節アクチュエータ障害のような現実世界の課題に対する堅牢性は、依然として重要な関心事である。 本研究は,OpenAI Gymの脚付きロボットを用いた既存のオフライン強化学習手法のロバスト性を評価するものである。 強靭性評価には, 逆方向の乱れと逆方向の摂動の両方を結合トルク信号に組み込むことで, 故障をシミュレートする。 実験の結果、既存のオフライン強化学習手法は、これらの行動摂動に重大な脆弱性を示し、オンライン強化学習法よりも脆弱であり、この分野におけるより堅牢なアプローチの必要性を浮き彫りにしている。

関連論文リスト

• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Benchmarking Offline Reinforcement Learning on Real-Robot Hardware [35.29390454207064]
  特にデクサラスな操作は、その一般的な形式において未解決の問題である。 本稿では,2つのタスク上の厳密な操作プラットフォームからオフライン学習のための大量のデータを含むベンチマークを提案する。 実システム上でのオフライン強化学習のための再現可能な実験的なセットアップを提供する。
  論文  参考訳（メタデータ） (2023-07-28T17:29:49Z)
• Bridging Active Exploration and Uncertainty-Aware Deployment Using Probabilistic Ensemble Neural Network Dynamics [11.946807588018595]
  本稿では,活発な探索と不確実性を考慮した展開を橋渡しするモデルベース強化学習フレームワークを提案する。 探索と展開の対立する2つのタスクは、最先端のサンプリングベースのMPCによって最適化されている。 自動運転車と車輪付きロボットの両方で実験を行い、探索と展開の両方に有望な結果を示します。
  論文  参考訳（メタデータ） (2023-05-20T17:20:12Z)
• Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot Learning [121.9708998627352]
  近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。 本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
  論文  参考訳（メタデータ） (2022-04-15T08:12:15Z)
• Where Did You Learn That From? Surprising Effectiveness of Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning [114.9857000195174]
  深い強化学習を産業的に広く採用する上での大きな課題は、プライバシー侵害の潜在的な脆弱性である。 本稿では, 深層強化学習アルゴリズムの脆弱性を検証し, メンバーシップ推論攻撃に適応する対戦型攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-08T23:44:57Z)
• Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning [3.9258421820410225]
  我々は、機械学習を用いて、不確実性の下で安全な意思決定を実現するための最近の進歩についてレビューする。 不安定なダイナミクスを学習することで、パフォーマンスを安全に向上する学習ベースの制御アプローチ。 今後数年間、ロボット学習の分野を牽引するオープンな課題をいくつか取り上げる。
  論文  参考訳（メタデータ） (2021-08-13T14:22:02Z)
• Adversarial Training is Not Ready for Robot Learning [55.493354071227174]
  対人訓練は,ノルム有界摂動に耐性のあるディープラーニングモデルを訓練する有効な方法である。 敵訓練により得られたニューラルコントローラが3種類の欠陥を受けることを理論的および実験的に示す。 この結果から, ロボット学習にはまだ対応できていないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T07:51:31Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。