論文の概要: In-Simulation Testing of Deep Learning Vision Models in Autonomous Robotic Manipulators

• arxiv url: http://arxiv.org/abs/2410.19277v2
• Date: Sat, 09 Nov 2024 00:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:04:42.302192
• Title: In-Simulation Testing of Deep Learning Vision Models in Autonomous Robotic Manipulators
• Title（参考訳）: 自律型ロボットマニピュレータにおけるディープラーニングビジョンモデルのシミュレーションテスト
• Authors: Dmytro Humeniuk, Houssem Ben Braiek, Thomas Reid, Foutse Khomh,
• Abstract要約: 自律型ロボットマニピュレータのテストは、ビジョンとコントロールコンポーネント間の複雑なソフトウェアインタラクションのために難しい。 現代のロボットマニピュレータの重要な要素は、ディープラーニングに基づく物体検出モデルである。 本稿では,写真リアリスティックなNVIDIA Isaac Simシミュレータと進化探索を統合し,重要なシナリオを識別するMARTENSフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.389756788049944
• License:
• Abstract: Testing autonomous robotic manipulators is challenging due to the complex software interactions between vision and control components. A crucial element of modern robotic manipulators is the deep learning based object detection model. The creation and assessment of this model requires real world data, which can be hard to label and collect, especially when the hardware setup is not available. The current techniques primarily focus on using synthetic data to train deep neural networks (DDNs) and identifying failures through offline or online simulation-based testing. However, the process of exploiting the identified failures to uncover design flaws early on, and leveraging the optimized DNN within the simulation to accelerate the engineering of the DNN for real-world tasks remains unclear. To address these challenges, we propose the MARTENS (Manipulator Robot Testing and Enhancement in Simulation) framework, which integrates a photorealistic NVIDIA Isaac Sim simulator with evolutionary search to identify critical scenarios aiming at improving the deep learning vision model and uncovering system design flaws. Evaluation of two industrial case studies demonstrated that MARTENS effectively reveals robotic manipulator system failures, detecting 25 % to 50 % more failures with greater diversity compared to random test generation. The model trained and repaired using the MARTENS approach achieved mean average precision (mAP) scores of 0.91 and 0.82 on real-world images with no prior retraining. Further fine-tuning on real-world images for a few epochs (less than 10) increased the mAP to 0.95 and 0.89 for the first and second use cases, respectively. In contrast, a model trained solely on real-world data achieved mAPs of 0.8 and 0.75 for use case 1 and use case 2 after more than 25 epochs.
• Abstract（参考訳）: 自律型ロボットマニピュレータのテストは、ビジョンとコントロールコンポーネント間の複雑なソフトウェアインタラクションのために難しい。 現代のロボットマニピュレータの重要な要素は、ディープラーニングに基づく物体検出モデルである。 このモデルの作成と評価には、特にハードウェアのセットアップが利用できない場合、ラベル付けや収集が難しい実世界のデータが必要である。 現在のテクニックは主に、合成データを使用してディープニューラルネットワーク(DDN)をトレーニングし、オフラインまたはオンラインシミュレーションベースのテストを通じて障害を特定することに焦点を当てている。 しかし、早期に設計上の欠陥を明らかにするために特定された失敗を悪用し、シミュレーション内で最適化されたDNNを活用して実世界のタスクにDNNのエンジニアリングを加速するプロセスは、まだ不明である。 これらの課題に対処するために,写真リアリスティックなNVIDIA Isaac Simシミュレータと進化探索を統合したMARTENS(Manipulator Robot Testing and Enhancement in Simulation)フレームワークを提案する。 2つの産業ケーススタディから、MARTENSはロボットマニピュレータのシステム障害を効果的に明らかにし、ランダムなテスト生成に比べて25～50%の障害を検出できた。 MARTENSアプローチを用いて訓練され修理されたモデルは、事前のトレーニングを行わずに現実世界の画像で平均平均精度(mAP)スコア0.91と0.82を達成した。 さらに、いくつかのエポック(10未満)の実際の画像を微調整すると、第1および第2のユースケースでは、mAPが0.95、第2のユースケースでは0.89に増加した。 対照的に、実世界のデータのみに基づいてトレーニングされたモデルでは、ユースケース1とユースケース2が25回以上続いた後、0.8と0.75のmAPを達成した。

関連論文リスト

• Accelerating Domain-Aware Electron Microscopy Analysis Using Deep Learning Models with Synthetic Data and Image-Wide Confidence Scoring [0.0]
  我々は物理に基づく合成画像とデータ生成装置を作成し、その結果、同等の精度(0.86)、リコール(0.63)、F1スコア(0.71)、エンジニアリング特性予測(R2=0.82)を実現する機械学習モデルを得た。 本研究は,合成データがMLの人間依存を排除し,画像毎に多くの特徴を検出する必要がある場合に,ドメイン認識の手段を提供することを示す。
  論文  参考訳（メタデータ） (2024-08-02T20:15:15Z)
• Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
  本稿では,実際のデータギャップに対処するための新しい視点を提案する。 自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。 シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
  論文  参考訳（メタデータ） (2024-03-24T11:09:41Z)
• VR-LENS: Super Learning-based Cybersickness Detection and Explainable AI-Guided Deployment in Virtual Reality [1.9642496463491053]
  本研究は、サイバーシック検出MLモデルを開発するための、説明可能な人工知能(XAI)ベースのフレームワークであるVR-LENSを提案する。 我々はまず,サイバーシック検出のための新しいスーパーラーニングベースのアンサンブルMLモデルを開発した。 本手法は, 眼球運動, プレイヤー位置, ガルバニックスキン/ハートレート応答を, 統合センサ, ゲームプレイ, 生体生理学的データセットの最も重要な特徴として同定した。
  論文  参考訳（メタデータ） (2023-02-03T20:15:51Z)
• Towards Precise Model-free Robotic Grasping with Sim-to-Real Transfer Learning [11.470950882435927]
  本稿では,ロボットの把持ネットワークについて述べる。 物理ロボット実験では,1つの既知の物体と,90.91%の成功率を持つ新しい複合形状の家庭用物体を把握した。 提案した把握フレームワークは、既知の物体と未知の物体の両方において、最先端の2つの手法より優れていた。
  論文  参考訳（メタデータ） (2023-01-28T16:57:19Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
  我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。 学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-07T15:15:12Z)
• ProcTHOR: Large-Scale Embodied AI Using Procedural Generation [55.485985317538194]
  ProcTHORは、Embodied AI環境の手続き的生成のためのフレームワークである。 ナビゲーション、アレンジメント、アーム操作のための6つの具体化されたAIベンチマークに対して、最先端の結果を実証する。
  論文  参考訳（メタデータ） (2022-06-14T17:09:35Z)
• Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin-picking [98.5984733963713]
  コスト効率の良いロボットグルーピングを容易にするために,シミュレート・トゥ・リアルな6次元オブジェクトのポーズ推定のための反復的自己学習フレームワークを提案する。 我々は、豊富な仮想データを合成するためのフォトリアリスティックシミュレータを構築し、これを初期ポーズ推定ネットワークのトレーニングに利用する。 このネットワークは教師モデルの役割を担い、未ラベルの実データに対するポーズ予測を生成する。
  論文  参考訳（メタデータ） (2022-04-14T15:54:01Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。