論文の概要: MateRobot: Material Recognition in Wearable Robotics for People with
Visual Impairments
- arxiv url: http://arxiv.org/abs/2302.14595v3
- Date: Wed, 6 Mar 2024 05:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 18:32:59.386597
- Title: MateRobot: Material Recognition in Wearable Robotics for People with
Visual Impairments
- Title(参考訳): MateRobot:視覚障害者のためのウェアラブルロボットの素材認識
- Authors: Junwei Zheng, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer
Stiefelhagen
- Abstract要約: ウェアラブルビジョンに基づくロボットシステムであるMateRobotは、PVIが材料やオブジェクトのカテゴリを事前に認識することを目的としている。
本稿では,画素単位のセマンティックセマンティックセグメンテーションを実現する軽量で高精度なモデルMateViTを提案する。
当社のウェアラブルシステムは、NASA-Task Load Indexで28点に達し、認知力の低下と使いやすさを示している。
- 参考スコア(独自算出の注目度): 41.60553719347645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: People with Visual Impairments (PVI) typically recognize objects through
haptic perception. Knowing objects and materials before touching is desired by
the target users but under-explored in the field of human-centered robotics. To
fill this gap, in this work, a wearable vision-based robotic system, MateRobot,
is established for PVI to recognize materials and object categories beforehand.
To address the computational constraints of mobile platforms, we propose a
lightweight yet accurate model MateViT to perform pixel-wise semantic
segmentation, simultaneously recognizing both objects and materials. Our
methods achieve respective 40.2% and 51.1% of mIoU on COCOStuff-10K and DMS
datasets, surpassing the previous method with +5.7% and +7.0% gains. Moreover,
on the field test with participants, our wearable system reaches a score of 28
in the NASA-Task Load Index, indicating low cognitive demands and ease of use.
Our MateRobot demonstrates the feasibility of recognizing material property
through visual cues and offers a promising step towards improving the
functionality of wearable robots for PVI. The source code has been made
publicly available at
https://junweizheng93.github.io/publications/MATERobot/MATERobot.html.
- Abstract(参考訳): 視覚障害者(PVI)は通常、触覚を通して物体を認識する。
触れる前に物体や素材を知ることは、ターゲットユーザーには望ましいが、人間中心のロボティクスの分野では未熟である。
このギャップを埋めるために、ウェアラブルビジョンベースのロボットシステムmaterobotがpviのために設立され、素材やオブジェクトのカテゴリを事前に認識することができる。
モバイルプラットフォームの計算上の制約に対処するため,我々は,オブジェクトと材料の両方を同時に認識し,ピクセル単位で意味セグメンテーションを行う軽量かつ高精度なモデルセットを提案する。
提案手法は,COCOStuff-10KおよびDMSデータセット上でmIoUの40.2%と51.1%をそれぞれ達成し,前法を+5.7%,+7.0%で上回った。
さらに、参加者とのフィールドテストでは、NASA-Task Load Indexで28点に達し、認知力の低下と使いやすさを示している。
我々のMateRobotは、視覚的手がかりによる材料特性の認識の実現可能性を示し、PVIのためのウェアラブルロボットの機能を改善するための有望なステップを提供する。
ソースコードはhttps://junweizheng93.github.io/publications/MATERobot/MATERobot.htmlで公開されている。
関連論文リスト
- Multimodal Anomaly Detection based on Deep Auto-Encoder for Object Slip
Perception of Mobile Manipulation Robots [22.63980025871784]
提案フレームワークは,RGBや深度カメラ,マイク,力トルクセンサなど,さまざまなロボットセンサから収集した異種データストリームを統合する。
統合されたデータは、ディープオートエンコーダを訓練して、通常の状態を示す多感覚データの潜在表現を構築するために使用される。
次に、トレーニングされたエンコーダの潜伏値と再構成された入力データの潜伏値との差によって測定された誤差スコアによって異常を識別することができる。
論文 参考訳(メタデータ) (2024-03-06T09:15:53Z) - OK-Robot: What Really Matters in Integrating Open-Knowledge Models for
Robotics [26.73838656137223]
我々はOK-Robotと呼ばれる新しいオープンナレッジベースのロボティクスフレームワークを開発した。
オブジェクト検出のためのビジョンランゲージモデル(VLM)、移動のためのナビゲーションプリミティブ、オブジェクト操作のためのプリミティブの把握を組み合わせることで、OK-Robotはトレーニングを必要とせずにピック・アンド・ドロップ操作のための統合ソリューションを提供する。
その結果、OK-Robotは、オープンエンドピック・アンド・ドロップタスクにおいて58.5%の成功率を達成した。
論文 参考訳(メタデータ) (2024-01-22T18:42:20Z) - Teaching Unknown Objects by Leveraging Human Gaze and Augmented Reality
in Human-Robot Interaction [3.1473798197405953]
この論文は、人間-ロボットインタラクション(HRI)の文脈で未知の物体を教えることを目的としている。
視線追跡と拡張現実(Augmented Reality)を組み合わせることで、人間の教師がロボットとコミュニケーションできる強力なシナジーが生まれました。
ロボットの物体検出能力は、広範囲なデータセットで訓練された最先端の物体検出器に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-12-12T11:34:43Z) - HabitatDyn Dataset: Dynamic Object Detection to Kinematics Estimation [16.36110033895749]
本稿では,合成RGBビデオ,セマンティックラベル,深度情報,および運動情報を含むデータセットHabitatDynを提案する。
HabitatDynは移動カメラを搭載した移動ロボットの視点で作られ、6種類の移動物体をさまざまな速度で撮影する30のシーンを含んでいる。
論文 参考訳(メタデータ) (2023-04-21T09:57:35Z) - Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
論文 参考訳(メタデータ) (2023-03-02T01:55:10Z) - Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。
本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。
ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
論文 参考訳(メタデータ) (2022-03-31T23:08:20Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - Careful with That! Observation of Human Movements to Estimate Objects
Properties [106.925705883949]
我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。
最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
論文 参考訳(メタデータ) (2021-03-02T08:14:56Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳(メタデータ) (2021-02-09T10:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。