論文の概要: Optimizing TD3 for 7-DOF Robotic Arm Grasping: Overcoming Suboptimality with Exploration-Enhanced Contrastive Learning
- arxiv url: http://arxiv.org/abs/2408.14009v1
- Date: Mon, 26 Aug 2024 04:30:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:02:44.430301
- Title: Optimizing TD3 for 7-DOF Robotic Arm Grasping: Overcoming Suboptimality with Exploration-Enhanced Contrastive Learning
- Title（参考訳）: 7-DOFロボットアームグレーピングのためのTD3の最適化:探索強化コントラスト学習による準最適性の克服
- Authors: Wen-Han Hsieh, Jen-Yuan Chang,
- Abstract要約: 空間空間の探索が不十分なため、7-DOFロボットアームを制御する際の最適下方策がもたらされる。
本稿では,新しい状態に遭遇する際の追加報酬を提供することで,探索を改善する,探索強化コントラスト学習(EECL)モジュールを提案する。
本研究では,ロボットスーツパンダ昇降作業において,試験環境における効率と収束速度の両面で,ベースラインのTD3を著しく上回っていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In actor-critic-based reinforcement learning algorithms such as Twin Delayed Deep Deterministic policy gradient (TD3), insufficient exploration of the spatial space can result in suboptimal policies when controlling 7-DOF robotic arms. To address this issue, we propose a novel Exploration-Enhanced Contrastive Learning (EECL) module that improves exploration by providing additional rewards for encountering novel states. Our module stores previously explored states in a buffer and identifies new states by comparing them with historical data using Euclidean distance within a K-dimensional tree (KDTree) framework. When the agent explores new states, exploration rewards are assigned. These rewards are then integrated into the TD3 algorithm, ensuring that the Q-learning process incorporates these signals, promoting more effective strategy optimization. We evaluate our method on the robosuite panda lift task, demonstrating that it significantly outperforms the baseline TD3 in terms of both efficiency and convergence speed in the tested environment.
- Abstract（参考訳）: Twin Delayed Deep Deterministic Policy gradient (TD3) のようなアクターをベースとした強化学習アルゴリズムでは、空間空間の探索が不十分なため、7-DOFロボットアームを制御する際の準最適ポリシーが導かれる。
この問題に対処するため,我々は,新しい状態に遭遇する際の追加報酬を提供することで,探索を改善する新しいEECL(Exploration-Enhanced Contrastive Learning)モジュールを提案する。
我々のモジュールは以前に検討した状態をバッファに格納し、K次元木(KDTree)フレームワーク内でユークリッド距離を用いて過去のデータと比較することにより、新しい状態を識別する。
エージェントが新しい州を探索すると、探索報酬が割り当てられる。
これらの報酬はTD3アルゴリズムに統合され、Qラーニングプロセスにこれらの信号が組み込まれ、より効果的な戦略最適化が促進される。
本研究では,ロボットスーツパンダ昇降作業において,試験環境における効率と収束速度の両面で,ベースラインのTD3を著しく上回っていることを示す。
関連論文リスト
- Grammarization-Based Grasping with Deep Multi-Autoencoder Latent Space Exploration by Reinforcement Learning Agent [0.0]
本稿では,高次元の目標とグリップの特徴を圧縮するアイデアに基づく,ロボットグルーピングのための新しいフレームワークを提案する。
提案手法は,対象とグリップに専用の3つのオートエンコーダと,その潜在表現を融合させる第3のオートエンコーダを用いて,把握を簡略化する。
論文 参考訳（メタデータ） (2024-11-13T12:26:08Z) - Syn-to-Real Unsupervised Domain Adaptation for Indoor 3D Object Detection [50.448520056844885]
室内3次元物体検出における非教師なし領域適応のための新しいフレームワークを提案する。
合成データセット3D-FRONTから実世界のデータセットScanNetV2とSUN RGB-Dへの適応結果は、ソースオンリーベースラインよりも9.7%、9.1%のmAP25が顕著に改善されていることを示している。
論文 参考訳（メタデータ） (2024-06-17T08:18:41Z) - Find n' Propagate: Open-Vocabulary 3D Object Detection in Urban Environments [67.83787474506073]
我々は,現在のLiDARに基づく3Dオブジェクト検出システムの限界に対処する。
本稿では,3次元OVタスクに対する汎用textscFind n' Propagate アプローチを提案する。
我々は、新しいオブジェクトクラスに対する平均精度(AP)を最大3.97倍に向上させる。
論文 参考訳（メタデータ） (2024-03-20T12:51:30Z) - Enhanced Low-Dimensional Sensing Mapless Navigation of Terrestrial
Mobile Robots Using Double Deep Reinforcement Learning Techniques [1.191504645891765]
地上移動ロボットのためのマップレスナビゲーションの強化を目的とした2つのアプローチを提案する。
研究手法は主に、DQN(Deep Q-Network)アルゴリズムに基づくDeep-RL戦略と、DQN(Double Deep Q-Network)アルゴリズムに基づく代替アプローチの比較分析を含む。
提案手法は3つの異なる実環境において評価され、Double Deep構造は単純なQ構造に比べて移動ロボットのナビゲーション能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2023-10-20T20:47:07Z) - Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in
Driving Scenes [82.4186966781934]
Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。
Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。
無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-18T03:48:58Z) - Rethinking IoU-based Optimization for Single-stage 3D Object Detection [103.83141677242871]
本稿では回転分離型IoU(RDIoU)法を提案する。
我々のRDIoUは、回転変数を独立項として分離することで、回帰パラメータの複雑な相互作用を単純化する。
論文 参考訳（メタデータ） (2022-07-19T15:35:23Z) - Learning to Explore by Reinforcement over High-Level Options [0.0]
エージェントに「見回し」と「フロンティアナビゲーション」という2つの行動選択肢を与える新しい手法を提案する。
各タイムステップにおいて、エージェントはポリシーに従ってオプションと対応するアクションを生成する。
提案手法が利用可能な2つの3次元環境データセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2021-11-02T04:21:34Z) - Trajectory Design for UAV-Based Internet-of-Things Data Collection: A
Deep Reinforcement Learning Approach [93.67588414950656]
本稿では,無人航空機(UAV)による3D環境におけるIoT(Internet-of-Things)システムについて検討する。
本稿では,TD3-TDCTMアルゴリズムの完成時間最小化のためのトラジェクトリ設計を提案する。
シミュレーションの結果,従来の3つの非学習ベースライン法よりもTD3-TDCTMアルゴリズムの方が優れていることが示された。
論文 参考訳（メタデータ） (2021-07-23T03:33:29Z) - MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。
調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。
提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
論文 参考訳（メタデータ） (2021-06-18T17:57:00Z) - A Vision Based Deep Reinforcement Learning Algorithm for UAV Obstacle
Avoidance [1.2693545159861856]
UAV障害物回避のための探索を改善するための2つの技術を紹介します。
ひとつは収束に基づくアプローチで、探索されていない動作と時間しきい値を反復して探索と搾取のバランスをとる。
2つ目は、ガウス混合分布を用いて予測された次の状態と比較し、次のアクションを選択するためのガイダンスベースアプローチである。
論文 参考訳（メタデータ） (2021-03-11T01:15:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。