論文の概要: Digital Twin-Enabled Real-Time Control in Robotic Additive Manufacturing via Soft Actor-Critic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2501.18016v1
- Date: Wed, 29 Jan 2025 22:06:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:15:21.900067
- Title: Digital Twin-Enabled Real-Time Control in Robotic Additive Manufacturing via Soft Actor-Critic Reinforcement Learning
- Title（参考訳）: ソフトアクター・クリティカル強化学習によるロボット添加物製造におけるディジタル双極子実現リアルタイム制御
- Authors: Matsive Ali, Sandesh Giri, Sen Liu, Qin Yang,
- Abstract要約: 本研究は,ソフトアクタ・クリティカル(SAC)強化学習とデジタルツイン技術を組み合わせた新しいアプローチを提案する。
我々は,Vier X300sロボットアームを用いて,2つの異なる制御シナリオを実装した手法を実証した。
その結果、シミュレートされた環境と物理的環境の両方において、迅速な政策収束と堅牢なタスク実行が示された。
- 参考スコア（独自算出の注目度）: 2.5709786140685633
- License:
- Abstract: Smart manufacturing systems increasingly rely on adaptive control mechanisms to optimize complex processes. This research presents a novel approach integrating Soft Actor-Critic (SAC) reinforcement learning with digital twin technology to enable real-time process control in robotic additive manufacturing. We demonstrate our methodology using a Viper X300s robot arm, implementing two distinct control scenarios: static target acquisition and dynamic trajectory following. The system architecture combines Unity's simulation environment with ROS2 for seamless digital twin synchronization, while leveraging transfer learning to efficiently adapt trained models across tasks. Our hierarchical reward structure addresses common reinforcement learning challenges including local minima avoidance, convergence acceleration, and training stability. Experimental results show rapid policy convergence and robust task execution in both simulated and physical environments, with performance metrics including cumulative reward, value prediction accuracy, policy loss, and discrete entropy coefficient demonstrating the effectiveness of our approach. This work advances the integration of reinforcement learning with digital twins for industrial robotics applications, providing a framework for enhanced adaptive real-time control for smart additive manufacturing process.
- Abstract（参考訳）: スマートマニュファクチャリングシステムは、複雑なプロセスを最適化するための適応制御機構にますます依存している。
本研究は, ロボット添加物製造におけるリアルタイムプロセス制御を実現するために, SAC(Soft Actor-Critic)強化学習とデジタルツイン技術を統合した新しいアプローチを提案する。
我々は,Vier X300sロボットアームを用いて,静的目標獲得と動的軌道追従の2つの異なる制御シナリオを実装した手法を実証した。
システムアーキテクチャはUnityのシミュレーション環境とROS2を組み合わせて、シームレスなデジタル双対同期を実現し、トランスファー学習を活用してタスク全体にわたってトレーニングされたモデルを効率的に適応させる。
階層型報酬構造は,局所最小限回避,収束促進,訓練安定性など,一般的な強化学習課題に対処する。
実験結果から, 累積報酬, 価値予測精度, 政策損失, 離散エントロピー係数など, シミュレーション環境と物理環境の両方において, 迅速な政策収束と頑健なタスク実行が示され, 提案手法の有効性が示された。
この研究は、産業用ロボティクスアプリケーションのための強化学習とデジタルツインの統合を推進し、スマートな添加物製造プロセスのための適応的リアルタイム制御のためのフレームワークを提供する。
関連論文リスト
- Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
私たちは世界モデルを学ぶための新しいフレームワークを紹介します。
スケーラブルで堅牢なフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
論文 参考訳（メタデータ） (2025-01-17T10:39:09Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - DiAReL: Reinforcement Learning with Disturbance Awareness for Robust
Sim2Real Policy Transfer in Robot Control [0.0]
遅延マルコフ決定プロセスは、最近コミットされたアクションの有限時間ウィンドウでエージェントの状態空間を拡大することでマルコフ特性を満たす。
本稿では,遅延した環境下での乱れ増進型マルコフ決定プロセスを導入し,政治強化学習アルゴリズムのトレーニングにおける乱れ推定を取り入れた新しい表現法を提案する。
論文 参考訳（メタデータ） (2023-06-15T10:11:38Z) - Bridging Active Exploration and Uncertainty-Aware Deployment Using
Probabilistic Ensemble Neural Network Dynamics [11.946807588018595]
本稿では,活発な探索と不確実性を考慮した展開を橋渡しするモデルベース強化学習フレームワークを提案する。
探索と展開の対立する2つのタスクは、最先端のサンプリングベースのMPCによって最適化されている。
自動運転車と車輪付きロボットの両方で実験を行い、探索と展開の両方に有望な結果を示します。
論文 参考訳（メタデータ） (2023-05-20T17:20:12Z) - Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning [24.223788665601678]
2つのxArm6ロボットがU字型組立タスクを、シミュレーションで90%以上、実際のハードウェアで50%の確率で解決する。
以上の結果から,本システムは今後,深部RLおよびSim2Real転送バイマニュアルポリアの研究を刺激していきたいと願っている。
論文 参考訳（メタデータ） (2023-03-27T01:25:24Z) - Leveraging Sequentiality in Reinforcement Learning from a Single
Demonstration [68.94506047556412]
本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。
本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
論文 参考訳（メタデータ） (2022-11-09T10:28:40Z) - Active Predicting Coding: Brain-Inspired Reinforcement Learning for
Sparse Reward Robotic Control Problems [79.07468367923619]
ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。
我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。
提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
論文 参考訳（メタデータ） (2022-09-19T16:49:32Z) - Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot
Learning [121.9708998627352]
近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。
本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
論文 参考訳（メタデータ） (2022-04-15T08:12:15Z) - Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance
Action Space [7.116986445066885]
強化学習は、様々な困難な意思決定タスクにおいて、有望な結果をもたらしました。
高速な人間のような適応制御手法は複雑なロボットの相互作用を最適化するが、非構造化タスクに必要なマルチモーダルフィードバックを統合することができない。
本稿では,階層的学習と適応アーキテクチャにおける学習問題を要因として,両世界を最大限に活用することを提案する。
論文 参考訳（メタデータ） (2021-10-19T12:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。