論文の概要: MateRobot: Material Recognition in Wearable Robotics for People with Visual Impairments

• arxiv url: http://arxiv.org/abs/2302.14595v1
• Date: Tue, 28 Feb 2023 14:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 16:15:38.584997
• Title: MateRobot: Material Recognition in Wearable Robotics for People with Visual Impairments
• Title（参考訳）: MateRobot:視覚障害者のためのウェアラブルロボットの素材認識
• Authors: Junwei Zheng, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer Stiefelhagen
• Abstract要約: ウェアラブルロボットシステムであるMateRobotは、PVIが材料を事前に認識するために設置されている。 Learnable Importance Smpling (LIS)とMulti-gate Mixture-of-Experts (MMoE)を用いたMateViTアーキテクチャを提案する。 当社のウェアラブルシステムは,NASA-Task Load Indexで28点を取得し,認知的要求の低さと使いやすさを示している。
• 参考スコア（独自算出の注目度）: 27.993421686089864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wearable robotics can improve the lives of People with Visual Impairments (PVI) by providing additional sensory information. Blind people typically recognize objects through haptic perception. However, knowing materials before touching is under-explored in the field of assistive technology. To fill this gap, in this work, a wearable robotic system, MateRobot, is established for PVI to recognize materials before hand. Specially, the human-centric system can perform pixel-wise semantic segmentation of objects and materials. Considering both general object segmentation and material segmentation, an efficient MateViT architecture with Learnable Importance Sampling (LIS) and Multi-gate Mixture-of-Experts (MMoE) is proposed to wearable robots to achieve complementary gains from different target domains. Our methods achieve respective 40.2% and 51.1% of mIoU on COCOStuff and DMS datasets, surpassing previous method with +5.7% and +7.0% gains. Moreover, on the field test with participants, our wearable system obtains a score of 28 in NASA-Task Load Index, indicating low cognitive demands and ease of use. Our MateRobot demonstrates the feasibility of recognizing material properties through visual cues, and offers a promising step towards improving the functionality of wearable robots for PVI. Code will be available at: https://github.com/JunweiZheng93/MATERobot.
• Abstract（参考訳）: ウェアラブルロボットは、追加の感覚情報を提供することで、視覚障害者(PVI)の生活を改善することができる。 盲人は通常、触覚を通して物体を認識する。 しかし, 触る前に資料を知ることは, 補助技術の分野では未熟である。 このギャップを埋めるために、この作業では、PVIが材料を事前に認識するために、ウェアラブルロボットシステムであるMateRobotが確立されている。 特に、人中心のシステムは、オブジェクトや材料のピクセルワイドなセマンティックセグメンテーションを行うことができる。 汎用オブジェクトセグメンテーションと材料セグメンテーションの両方を考慮すると、異なる対象領域から補完的な利益を得るために、Learningable Importance Smpling(LIS)とMulti-gate Mixture-of-Experts(MMoE)を用いた効率的なMateViTアーキテクチャがウェアラブルロボットに提案されている。 提案手法は,COCOStuffおよびDMSデータセット上でmIoUの40.2%と51.1%をそれぞれ達成し,従来の手法を+5.7%,+7.0%で上回った。 さらに, 参加者とのフィールドテストでは, nasa-task load indexで28点のスコアを取得し, 認知能力の低下と使いやすさを示した。 我々のMateRobotは、視覚的手がかりによる材料特性の認識の実現可能性を示し、PVIのためのウェアラブルロボットの機能を改善するための有望なステップを提供する。 コードは、https://github.com/JunweiZheng93/MATERobot.comで入手できる。

関連論文リスト

• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets [24.77850617214567]
  本稿では,視覚的特徴と操作タスクの行動や受容といった動的情報の両方を抽出する基礎表現学習フレームワークを提案する。 具体的には、DROIDロボットデータセット上で視覚エンコーダを事前訓練し、ロボットの受容状態や動作などの動作関連データを活用する。 本研究では,視覚的観察をロボットの主観的状態-動作ダイナミクスと整合させる新しいコントラスト的損失と,事前トレーニング中の行動を予測する行動クローニング(BC)のようなアクター損失と,時間的コントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:58:13Z)
• Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
  微分可能シミュレーションは、システム識別の強力なツールとなっている。 本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。 低コストなロボットプラットフォームにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-04T20:48:38Z)
• RoboPoint: A Vision-Language Model for Spatial Affordance Prediction for Robotics [46.63773228934993]
  本稿では,ロボットドメインやニーズに対して,視覚言語モデル(VLM)を命令チューニングする,自動合成データ生成パイプラインを提案する。 パイプラインを使用して、与えられた言語命令に対する画像キーポイントの価格を予測するVLMであるRoboPointを訓練する。 実験の結果,RoboPointは空間空き量の予測精度が21.8%,下流タスクの成功率が30.5%,最先端VLMが21.8%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-15T19:22:51Z)
• OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics [26.73838656137223]
  我々はOK-Robotと呼ばれる新しいオープンナレッジベースのロボティクスフレームワークを開発した。 オブジェクト検出のためのビジョンランゲージモデル(VLM)、移動のためのナビゲーションプリミティブ、オブジェクト操作のためのプリミティブの把握を組み合わせることで、OK-Robotはトレーニングを必要とせずにピック・アンド・ドロップ操作のための統合ソリューションを提供する。 その結果、OK-Robotは、オープンエンドピック・アンド・ドロップタスクにおいて58.5%の成功率を達成した。
  論文  参考訳（メタデータ） (2024-01-22T18:42:20Z)
• HabitatDyn Dataset: Dynamic Object Detection to Kinematics Estimation [16.36110033895749]
  本稿では,合成RGBビデオ,セマンティックラベル,深度情報,および運動情報を含むデータセットHabitatDynを提案する。 HabitatDynは移動カメラを搭載した移動ロボットの視点で作られ、6種類の移動物体をさまざまな速度で撮影する30のシーンを含んでいる。
  論文  参考訳（メタデータ） (2023-04-21T09:57:35Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。