論文の概要: Symmetry Considerations for Learning Task Symmetric Robot Policies
- arxiv url: http://arxiv.org/abs/2403.04359v1
- Date: Thu, 7 Mar 2024 09:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 14:36:11.915850
- Title: Symmetry Considerations for Learning Task Symmetric Robot Policies
- Title（参考訳）: 課題対応型ロボット政策の対称性に関する考察
- Authors: Mayank Mittal, Nikita Rudin, Victor Klemm, Arthur Allshire, Marco
Hutter
- Abstract要約: シンメトリーは多くの現実世界のロボットタスクの基本的な側面である。
現在の深層強化学習(DRL)アプローチは、対称性を効果的に活用することは滅多にない。
- 参考スコア（独自算出の注目度）: 12.856889419651521
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symmetry is a fundamental aspect of many real-world robotic tasks. However,
current deep reinforcement learning (DRL) approaches can seldom harness and
exploit symmetry effectively. Often, the learned behaviors fail to achieve the
desired transformation invariances and suffer from motion artifacts. For
instance, a quadruped may exhibit different gaits when commanded to move
forward or backward, even though it is symmetrical about its torso. This issue
becomes further pronounced in high-dimensional or complex environments, where
DRL methods are prone to local optima and fail to explore regions of the state
space equally. Past methods on encouraging symmetry for robotic tasks have
studied this topic mainly in a single-task setting, where symmetry usually
refers to symmetry in the motion, such as the gait patterns. In this paper, we
revisit this topic for goal-conditioned tasks in robotics, where symmetry lies
mainly in task execution and not necessarily in the learned motions themselves.
In particular, we investigate two approaches to incorporate symmetry invariance
into DRL -- data augmentation and mirror loss function. We provide a
theoretical foundation for using augmented samples in an on-policy setting.
Based on this, we show that the corresponding approach achieves faster
convergence and improves the learned behaviors in various challenging robotic
tasks, from climbing boxes with a quadruped to dexterous manipulation.
- Abstract（参考訳）: 対称性は多くの現実世界のロボットタスクの基本的な側面である。
しかし、現在の深層強化学習(DRL)アプローチでは、対称性を効果的に活用することはめったにない。
しばしば、学習された行動は所望の変換不変性を達成できず、運動アーチファクトに苦しむ。
例えば、四足歩行は、胴部に関して対称であるにもかかわらず、前方または後方に動くように指示された場合、異なる歩行を示すことがある。
この問題は、DRL法が局所最適であり、状態空間の領域を等しく探索できない高次元または複雑な環境でさらに顕著になる。
ロボットタスクの対称性を奨励する過去の手法は、主にシングルタスクの設定で研究されており、対称性は通常、歩行パターンのような動きにおける対称性を指す。
本稿では,ロボット工学における目標条件タスクについて,主にタスク実行に対称性があり,学習動作自体に限らず,このトピックを再考する。
特に,drlに対称性不変性を導入するための2つの方法 -- データ拡張とミラー損失関数 -- について検討した。
オンポリシー設定で拡張サンプルを使用するための理論的基礎を提供する。
そこで本研究では,このアプローチがより高速な収束を達成し,四足歩行からデクスター操作まで,様々な課題ロボットタスクにおける学習行動を改善することを示す。
関連論文リスト
- Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。
この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
論文 参考訳（メタデータ） (2024-10-29T08:28:23Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - Addressing Imperfect Symmetry: a Novel Symmetry-Learning Actor-Critic
Extension [0.46040036610482665]
適応対称性 (Adaptive Symmetry, ASL) $x2013$ は不完全対称性に対処するモデル最小化アクター批判拡張である。
ASLは対称性適合成分とモジュラー損失関数から構成され、学習されたポリシーに適応しながら全ての状態に共通な関係を強制する。
その結果, ASLは大きな摂動から回復し, 隠れ対称状態へ一般化できることがわかった。
論文 参考訳（メタデータ） (2023-09-06T04:47:46Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳（メタデータ） (2023-07-28T05:47:24Z) - Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。
我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文 参考訳（メタデータ） (2023-07-05T13:52:10Z) - Towards fully covariant machine learning [0.0]
機械学習において、最も可視的な受動的対称性はグラフの可逆対称性または置換対称性である。
受動的対称性を尊重すべきならば,機械学習の実践について,dos と not について議論する。
論文 参考訳（メタデータ） (2023-01-31T16:01:12Z) - Symmetry Detection in Trajectory Data for More Meaningful Reinforcement
Learning Representations [0.0]
本稿では,RL対称性を生の軌跡データから直接検出する手法を提案する。
本研究では, 環境物理とRL政策の双方の基礎となる対称性を推定できる2つのシミュレーションRL事例について実験を行った。
論文 参考訳（メタデータ） (2022-11-29T17:00:26Z) - Neural Bregman Divergences for Distance Learning [60.375385370556145]
本稿では,入力凸ニューラルネットワークを用いて任意のブレグマン分岐を微分可能な方法で学習するための新しいアプローチを提案する。
提案手法は,新しいタスクと以前に研究されたタスクのセットにおいて,より忠実に相違点を学習することを示す。
我々のテストはさらに、既知の非対称なタスクにまで拡張するが、Bregmanでないタスクでは、不特定性にもかかわらず、我々のメソッドは競争的に機能する。
論文 参考訳（メタデータ） (2022-06-09T20:53:15Z) - NeRD: Neural 3D Reflection Symmetry Detector [27.626579746101292]
ニューラル3次元反射対称性検出器NeRDについて述べる。
まず、粗大な戦略で対称性平面を列挙し、それから3次元のコストボリュームを構築することで最良の平面を見つける。
実験の結果,本手法で検出した対称性平面は直接CNN回帰から検出した平面よりもかなり精度が高いことがわかった。
論文 参考訳（メタデータ） (2021-04-19T17:25:51Z) - Learning to Shift Attention for Motion Generation [55.61994201686024]
ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。
以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。
この問題を克服する外挿能力を有するモーション生成モデルを提案する。
論文 参考訳（メタデータ） (2021-02-24T09:07:52Z) - Meta-Learning Symmetries by Reparameterization [63.85144439337671]
データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。
本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
論文 参考訳（メタデータ） (2020-07-06T17:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。