論文の概要: Kick-motion Training with DQN in AI Soccer Environment
- arxiv url: http://arxiv.org/abs/2212.00389v1
- Date: Thu, 1 Dec 2022 09:35:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 17:00:02.254479
- Title: Kick-motion Training with DQN in AI Soccer Environment
- Title（参考訳）: AIサッカー環境におけるDQNを用いたキックモーショントレーニング
- Authors: Bumgeun Park, Jihui Lee, Taeyoung Kim, Dongsoo Har
- Abstract要約: 本稿では,強化学習(RL)を用いて,AIサッカーでキックモーションを行うロボットを訓練する手法を提案する。
RLアルゴリズムをトレーニングする場合、状態の次元が高く、トレーニングデータの数が低い場合には、次元性の呪い(COD)と呼ばれる問題が発生する。
本稿では、絶対座標系(ACS)の代わりに、相対座標系(RCS)をロボットエージェントのキックモーションの訓練状態として利用する。
- 参考スコア（独自算出の注目度）: 2.464153570943062
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This paper presents a technique to train a robot to perform kick-motion in AI
soccer by using reinforcement learning (RL). In RL, an agent interacts with an
environment and learns to choose an action in a state at each step. When
training RL algorithms, a problem called the curse of dimensionality (COD) can
occur if the dimension of the state is high and the number of training data is
low. The COD often causes degraded performance of RL models. In the situation
of the robot kicking the ball, as the ball approaches the robot, the robot
chooses the action based on the information obtained from the soccer field. In
order not to suffer COD, the training data, which are experiences in the case
of RL, should be collected evenly from all areas of the soccer field over
(theoretically infinite) time. In this paper, we attempt to use the relative
coordinate system (RCS) as the state for training kick-motion of robot agent,
instead of using the absolute coordinate system (ACS). Using the RCS eliminates
the necessity for the agent to know all the (state) information of entire
soccer field and reduces the dimension of the state that the agent needs to
know to perform kick-motion, and consequently alleviates COD. The training
based on the RCS is performed with the widely used Deep Q-network (DQN) and
tested in the AI Soccer environment implemented with Webots simulation
software.
- Abstract（参考訳）: 本稿では,強化学習(RL)を用いて,AIサッカーでキックモーションを行うロボットを訓練する手法を提案する。
RLでは、エージェントが環境と相互作用し、各ステップで状態のアクションを選択することを学ぶ。
RLアルゴリズムをトレーニングする場合、状態の次元が高く、トレーニングデータの数が低い場合には、次元性の呪い(COD)と呼ばれる問題が発生する。
CODはしばしばRLモデルの劣化性能を引き起こす。
ボールを蹴るロボットの状況では、ボールがロボットに近づくと、サッカー場から得た情報に基づいてアクションを選択する。
codに苦しまないために、rlの場合の経験であるトレーニングデータは、サッカー場のすべての領域から(理論上は無限の)時間にわたって均等に収集されるべきである。
本稿では,相対座標系(RCS)を絶対座標系(ACS)の代わりにロボットエージェントのキックモーションを訓練するための状態として利用する。
RCSを使用することで、エージェントがサッカー場全体の(状態)情報を全て知る必要がなくなり、エージェントがキックモーションを実行するために知る必要がある状態の次元が減少し、結果としてCODが軽減される。
RCSに基づくトレーニングは、広く使われているディープQネットワーク(DQN)を用いて行われ、Webotsシミュレーションソフトウェアで実装されたAIサッカー環境でテストされる。
関連論文リスト
- Learning Robot Soccer from Egocentric Vision with Deep Reinforcement Learning [17.906144781244336]
我々は,自己中心型RGBビジョンによる完全オンボード計算とセンシングにより,エンドツーエンドのロボットサッカーポリシーを訓練する。
本稿では,マルチエージェントロボットサッカーにおけるエンドツーエンドトレーニングの最初の実演を行う。
論文 参考訳（メタデータ） (2024-05-03T18:41:13Z) - Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。
本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。
この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
論文 参考訳（メタデータ） (2024-01-30T10:48:43Z) - Hierarchical Reinforcement Learning for Precise Soccer Shooting Skills
using a Quadrupedal Robot [76.04391023228081]
本研究では,四足歩行ロボットが実世界において,強化学習を用いて精度の高い射撃技術を実現できるという課題に対処する。
本研究では, 深層強化学習を活用して頑健な動作制御政策を訓練する階層的枠組みを提案する。
提案するフレームワークをA1四足歩行ロボットに展開し、実世界のランダムなターゲットに向けて正確にボールを発射できるようにする。
論文 参考訳（メタデータ） (2022-08-01T22:34:51Z) - Accelerating Robotic Reinforcement Learning via Parameterized Action
Primitives [92.0321404272942]
強化学習は汎用ロボットシステムの構築に使用することができる。
しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。
本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。
動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
論文 参考訳（メタデータ） (2021-10-28T17:59:30Z) - From Motor Control to Team Play in Simulated Humanoid Football [56.86144022071756]
我々は、現実的な仮想環境でサッカーをするために、物理的にシミュレートされたヒューマノイドアバターのチームを訓練する。
一連の段階において、プレイヤーはまず、現実的な人間のような動きを実行するために、完全に関節化された身体を制御することを学習する。
その後、ドリブルやシューティングといった中級のサッカーのスキルを身につける。
最後に、彼らは他の人を意識し、チームとしてプレーし、ミリ秒のタイムスケールで低レベルのモーターコントロールのギャップを埋める。
論文 参考訳（メタデータ） (2021-05-25T20:17:10Z) - How to Train Your Robot with Deep Reinforcement Learning; Lessons We've
Learned [111.06812202454364]
本稿では,ロボット深部RLのケーススタディをいくつか紹介する。
深部RLにおける一般的な課題と,それらの課題について論じる。
また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
論文 参考訳（メタデータ） (2021-02-04T22:09:28Z) - Robust Reinforcement Learning-based Autonomous Driving Agent for
Simulation and Real World [0.0]
本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。
本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。
トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
論文 参考訳（メタデータ） (2020-09-23T15:23:54Z) - A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot
Soccer [1.1785354380793065]
本稿では,ロボットサッカーにおける強化学習(Reinforcement Learning, RL)とsim-to-realを研究するための,VSSS-RLと呼ばれるオープンフレームワークを紹介する。
本研究では,サッカーエージェントの完全な動作を制御するために,連続的あるいは離散的な制御ポリシーを訓練できるシミュレーション環境を提案する。
本研究の結果から,手作り制御政策の実施が困難な行動の幅広いレパートリーを学習したことが示唆された。
論文 参考訳（メタデータ） (2020-08-18T23:52:32Z) - Learning to Play Table Tennis From Scratch using Muscular Robots [34.34824536814943]
この研究は、(a)人為的ロボットアームを用いた安全クリティカルな動的タスクを初めて学習し、(b)PAM駆動システムで精度の高い要求問題を学び、(c)本物のボールなしで卓球をするようにロボットを訓練する。
ビデオとデータセットは muscleTT.embodied.ml で入手できる。
論文 参考訳（メタデータ） (2020-06-10T16:43:27Z) - Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。
エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
論文 参考訳（メタデータ） (2020-04-29T18:00:22Z) - Deep Adversarial Reinforcement Learning for Object Disentangling [36.66974848126079]
本稿では, 廃棄物の密接化を図り, 対人強化学習(ARL)フレームワークを提案する。
ARLフレームワークは、元のエージェントであるプロタゴニストを挑戦する状態に操るために訓練された敵を利用する。
本手法は,ロボット制御のためのエンドツーエンドシステムを用いて,難易度の高い物体分離タスクを学習することにより,シナリオの学習からテストまでを一般化できることを示す。
論文 参考訳（メタデータ） (2020-03-08T13:20:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。