論文の概要: A Digital Twin Framework for Virtual Visuo-Haptic Teleoperation of Complex-Shaped Optical Microrobots
- arxiv url: http://arxiv.org/abs/2605.28448v1
- Date: Wed, 27 May 2026 13:15:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.069136
- Title: A Digital Twin Framework for Virtual Visuo-Haptic Teleoperation of Complex-Shaped Optical Microrobots
- Title（参考訳）: 複合形光マイクロロボットの仮想視覚・触覚遠隔操作のためのディジタルツインフレームワーク
- Authors: Zongcai Tan, Lan Wei, Dandan Zhang,
- Abstract要約: 本稿では,複合型光マイクロロボットの仮想ビジュオ触覚遠隔操作のためのデジタルツインフレームワークを提案する。
このフレームワークは、デジタルツイン環境、画像ベースのポーズと深さ推定、マイクロロボットモーションシミュレーション、モデルベースの触覚レンダリングを統合している。
以上の結果から, 複合型光マイクロロボットのビジュオ触覚遠隔操作戦略を評価するためのフレームワークの有効性が示された。
- 参考スコア（独自算出の注目度）: 6.975054201075641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical tweezers (OT) provide piconewton-scale manipulation for delicate biomedical tasks, where visuo-haptic feedback can improve operator awareness by conveying interaction-force cues and trap-stability information. However, visuo-haptic teleoperation frameworks for complex-shaped optical microrobots remain underdeveloped, particularly in multi-trap manipulation scenarios. This paper presents a digital twin framework for virtual visuo-haptic teleoperation of complex-shaped OT-driven microrobots. The framework integrates a digital twin environment, image-based pose and depth estimation, microrobot motion simulation, and model-based haptic rendering within a Robot Operating System (ROS)-connected bimanual teleoperation system. For force modeling, we combine a Multi-Sphere Distributed Manipulation (MSDM) model with optical-force estimation from the Optical Tweezers Toolbox, enabling simulator-driven visuo-haptic feedback. The framework reproduces representative microrobot motion trends and provides haptic force rendering that is numerically consistent with the fitted optical-force model. In simulated cell-delivery tasks, haptic feedback reduced the standard deviations of the contact-force metric and the microrobot-to-trap-center distance metric by 53.2% and 55.2%, respectively, and improved task success from 30% to 80%. These results demonstrate the framework's effectiveness for evaluating visuo-haptic teleoperation strategies for complex-shaped optical microrobots.
- Abstract（参考訳）: 光ツイーザ(OT)は、微妙なバイオメディカルなタスクに対するピコニュートンスケールの操作を提供する。
しかし、特にマルチトラップ操作シナリオにおいて、複雑な形状の光マイクロロボットのためのビジュオ触覚遠隔操作フレームワークは未開発のままである。
本稿では,複合型OT駆動型マイクロロボットの仮想ビジュオ触覚遠隔操作のためのデジタルツインフレームワークを提案する。
このフレームワークは、ロボットオペレーティングシステム(ROS)に接続された双方向遠隔操作システムにおいて、デジタルツイン環境、画像ベースのポーズと深さ推定、マイクロロボットモーションシミュレーション、モデルベースの触覚レンダリングを統合する。
力モデリングでは,マルチ球分散マニピュレーション(MSDM)モデルとオプティカル・ツイーザー・ツールボックスからの光力推定を組み合わせ,シミュレータ駆動型ビジュオ触覚フィードバックを実現する。
このフレームワークは、代表的マイクロロボットの動き傾向を再現し、装着された光力モデルと数値的に一致した触覚力レンダリングを提供する。
シミュレーションされたセルデリバリータスクでは、触覚フィードバックにより、接触力測定値とマイクロロボットとトラップ中心距離測定値の標準偏差がそれぞれ53.2%、55.2%減少し、タスクの成功率は30%から80%向上した。
これらの結果から,複合型光マイクロロボットのビジュオハプティック遠隔操作戦略を評価するためのフレームワークの有効性が示された。
関連論文リスト
- Dual-Control Frequency-Aware Diffusion Model for Depth-Dependent Optical Microrobot Microscopy Image Generation [7.32096324372237]
物理的に一貫した顕微鏡画像合成のための二重制御・周波数認識拡散モデルであるDu-FreqNetを提案する。
微分可能なFFTベースの監視を活用することで、Du-FreqNetは物理的に意味のある周波数分布を、ピクセル空間法で欠落することが多い。
我々のモデルは制御可能な深度依存画像合成を実現し、ベースライン上でSSIMを20.7%改善する。
論文 参考訳（メタデータ） (2026-04-13T16:24:08Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments [28.77639956401214]
本稿では,内膜手術における連続体ロボットシステムのための視覚認識プラットフォームを提案する。
フレキシブル機器の位置と方向を識別する2次元および3次元学習に基づく知覚アルゴリズムを提案する。
物理的に現実的なシミュレータは、現実的な内在的なシーンを生成し、柔軟なロボットの制御を可能にする。
論文 参考訳（メタデータ） (2026-02-16T11:46:14Z) - MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery [4.287077788799387]
MiDASは、手術用ロボットプラットフォーム全体にわたる、時間同期で非侵襲的なマルチモーダルデータ取得のためのプラットフォームに依存しないシステムである。
オープンソース Raven-II と da Vinci Xi のMIDAS をペグ転送とヘルニア修復作業のマルチモーダルデータセットを用いて検証した。
論文 参考訳（メタデータ） (2026-02-12T20:56:15Z) - Physics-Informed Machine Learning for Efficient Sim-to-Real Data Augmentation in Micro-Object Pose Estimation [6.975054201075641]
本研究では,マイクロロボットのポーズ推定のための物理インフォームド深層生成学習フレームワークを提案する。
波動光学に基づく物理レンダリングと深度アライメントをGAN(Generative Adversarial Network)に統合する。
構造類似度指数(SSIM)は、純粋にAI駆動の手法に比べて35.6%向上する。
93.9%/91.9%(ピッチ/ロール)の精度を達成し、実際のデータにのみ訓練された推定値よりも5.0%/5.4%(ピッチ/ロール)低い。
論文 参考訳（メタデータ） (2025-11-20T16:10:53Z) - Is Single-View Mesh Reconstruction Ready for Robotics? [78.14584238127338]
本研究では,ロボット操作のための物理シミュレータを用いたリアルタイム計画と動的予測のためのディジタル双対生成の実現の可能性について,単一ビューメッシュ再構成モデルの評価を行った。
我々の研究は、コンピュータビジョンの進歩とロボティクスの必要性の間に重要なギャップがあることを浮き彫りにし、この交差点における将来の研究を導く。
論文 参考訳（メタデータ） (2025-05-23T14:35:56Z) - Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation [34.47272224723296]
ロボット,触覚センサ,物体を精度と前例のない速度でモデル化するために,IPCとABDを統合した高性能なシミュレーションプラットフォームであるTaccelを提案する。
並列化が制限されたサブリアルタイム速度で動作する従来のシミュレータとは異なり、Taccelは正確な物理シミュレーションとリアルな触覚信号を提供する。
これらの能力は、触覚ロボットの研究と開発を拡大するための強力なツールとして、Taccelを位置づけている。
論文 参考訳（メタデータ） (2025-04-17T12:57:11Z) - Image-to-Force Estimation for Soft Tissue Interaction in Robotic-Assisted Surgery Using Structured Light [4.199824399433837]
本文では, 軟組織にパターンをデザインしたOne-Shot構造光射影を用いた効果的な視覚ベーススキームを提案する。
内視鏡ステレオカメラから撮像した画像を分析し、軟組織変形のために高解像度の3D点雲を再構成する。
軟組織の複雑な力学特性を表現するため, 改良されたPointNetを用いた力推定法を提案する。
論文 参考訳（メタデータ） (2025-01-15T05:36:41Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳（メタデータ） (2023-01-17T21:41:21Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。