論文の概要: MateRobot: Material Recognition in Wearable Robotics for People with
Visual Impairments
- arxiv url: http://arxiv.org/abs/2302.14595v1
- Date: Tue, 28 Feb 2023 14:29:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:15:38.584997
- Title: MateRobot: Material Recognition in Wearable Robotics for People with
Visual Impairments
- Title(参考訳): MateRobot:視覚障害者のためのウェアラブルロボットの素材認識
- Authors: Junwei Zheng, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer
Stiefelhagen
- Abstract要約: ウェアラブルロボットシステムであるMateRobotは、PVIが材料を事前に認識するために設置されている。
Learnable Importance Smpling (LIS)とMulti-gate Mixture-of-Experts (MMoE)を用いたMateViTアーキテクチャを提案する。
当社のウェアラブルシステムは,NASA-Task Load Indexで28点を取得し,認知的要求の低さと使いやすさを示している。
- 参考スコア(独自算出の注目度): 27.993421686089864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wearable robotics can improve the lives of People with Visual Impairments
(PVI) by providing additional sensory information. Blind people typically
recognize objects through haptic perception. However, knowing materials before
touching is under-explored in the field of assistive technology. To fill this
gap, in this work, a wearable robotic system, MateRobot, is established for PVI
to recognize materials before hand. Specially, the human-centric system can
perform pixel-wise semantic segmentation of objects and materials. Considering
both general object segmentation and material segmentation, an efficient
MateViT architecture with Learnable Importance Sampling (LIS) and Multi-gate
Mixture-of-Experts (MMoE) is proposed to wearable robots to achieve
complementary gains from different target domains. Our methods achieve
respective 40.2% and 51.1% of mIoU on COCOStuff and DMS datasets, surpassing
previous method with +5.7% and +7.0% gains. Moreover, on the field test with
participants, our wearable system obtains a score of 28 in NASA-Task Load
Index, indicating low cognitive demands and ease of use. Our MateRobot
demonstrates the feasibility of recognizing material properties through visual
cues, and offers a promising step towards improving the functionality of
wearable robots for PVI. Code will be available at:
https://github.com/JunweiZheng93/MATERobot.
- Abstract(参考訳): ウェアラブルロボットは、追加の感覚情報を提供することで、視覚障害者(PVI)の生活を改善することができる。
盲人は通常、触覚を通して物体を認識する。
しかし, 触る前に資料を知ることは, 補助技術の分野では未熟である。
このギャップを埋めるために、この作業では、PVIが材料を事前に認識するために、ウェアラブルロボットシステムであるMateRobotが確立されている。
特に、人中心のシステムは、オブジェクトや材料のピクセルワイドなセマンティックセグメンテーションを行うことができる。
汎用オブジェクトセグメンテーションと材料セグメンテーションの両方を考慮すると、異なる対象領域から補完的な利益を得るために、Learningable Importance Smpling(LIS)とMulti-gate Mixture-of-Experts(MMoE)を用いた効率的なMateViTアーキテクチャがウェアラブルロボットに提案されている。
提案手法は,COCOStuffおよびDMSデータセット上でmIoUの40.2%と51.1%をそれぞれ達成し,従来の手法を+5.7%,+7.0%で上回った。
さらに, 参加者とのフィールドテストでは, nasa-task load indexで28点のスコアを取得し, 認知能力の低下と使いやすさを示した。
我々のMateRobotは、視覚的手がかりによる材料特性の認識の実現可能性を示し、PVIのためのウェアラブルロボットの機能を改善するための有望なステップを提供する。
コードは、https://github.com/JunweiZheng93/MATERobot.comで入手できる。
関連論文リスト
- Multimodal Anomaly Detection based on Deep Auto-Encoder for Object Slip
Perception of Mobile Manipulation Robots [22.63980025871784]
提案フレームワークは,RGBや深度カメラ,マイク,力トルクセンサなど,さまざまなロボットセンサから収集した異種データストリームを統合する。
統合されたデータは、ディープオートエンコーダを訓練して、通常の状態を示す多感覚データの潜在表現を構築するために使用される。
次に、トレーニングされたエンコーダの潜伏値と再構成された入力データの潜伏値との差によって測定された誤差スコアによって異常を識別することができる。
論文 参考訳(メタデータ) (2024-03-06T09:15:53Z) - OK-Robot: What Really Matters in Integrating Open-Knowledge Models for
Robotics [26.73838656137223]
我々はOK-Robotと呼ばれる新しいオープンナレッジベースのロボティクスフレームワークを開発した。
オブジェクト検出のためのビジョンランゲージモデル(VLM)、移動のためのナビゲーションプリミティブ、オブジェクト操作のためのプリミティブの把握を組み合わせることで、OK-Robotはトレーニングを必要とせずにピック・アンド・ドロップ操作のための統合ソリューションを提供する。
その結果、OK-Robotは、オープンエンドピック・アンド・ドロップタスクにおいて58.5%の成功率を達成した。
論文 参考訳(メタデータ) (2024-01-22T18:42:20Z) - Teaching Unknown Objects by Leveraging Human Gaze and Augmented Reality
in Human-Robot Interaction [3.1473798197405953]
この論文は、人間-ロボットインタラクション(HRI)の文脈で未知の物体を教えることを目的としている。
視線追跡と拡張現実(Augmented Reality)を組み合わせることで、人間の教師がロボットとコミュニケーションできる強力なシナジーが生まれました。
ロボットの物体検出能力は、広範囲なデータセットで訓練された最先端の物体検出器に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-12-12T11:34:43Z) - HabitatDyn Dataset: Dynamic Object Detection to Kinematics Estimation [16.36110033895749]
本稿では,合成RGBビデオ,セマンティックラベル,深度情報,および運動情報を含むデータセットHabitatDynを提案する。
HabitatDynは移動カメラを搭載した移動ロボットの視点で作られ、6種類の移動物体をさまざまな速度で撮影する30のシーンを含んでいる。
論文 参考訳(メタデータ) (2023-04-21T09:57:35Z) - Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
論文 参考訳(メタデータ) (2023-03-02T01:55:10Z) - Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。
本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。
ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
論文 参考訳(メタデータ) (2022-03-31T23:08:20Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - Careful with That! Observation of Human Movements to Estimate Objects
Properties [106.925705883949]
我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。
最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
論文 参考訳(メタデータ) (2021-03-02T08:14:56Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳(メタデータ) (2021-02-09T10:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。