論文の概要: Eye Gaze Controlled Robotic Arm for Persons with SSMI
- arxiv url: http://arxiv.org/abs/2005.11994v1
- Date: Mon, 25 May 2020 09:23:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 06:30:33.938193
- Title: Eye Gaze Controlled Robotic Arm for Persons with SSMI
- Title（参考訳）: SSMI患者に対する視線制御型ロボットアーム
- Authors: Vinay Krishna Sharma, L.R.D. Murthy, KamalPreet Singh Saluja, Vimal
Mollyn, Gourav Sharma and Pradipta Biswas
- Abstract要約: 我々は、市販のタブレット、コンピュータ、ラップトップを用いて、電子的に視線追跡プロセスを自動化することを目的とした。
この目視トラッカーは、目視のあるロボットデバイスを制御し、布の印刷作業のために配置する、ビデオカメラベースのARディスプレイの開発に使用される。
- 参考スコア（独自算出の注目度）: 5.8720142291102135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: People with severe speech and motor impairment (SSMI) often uses
a technique called eye pointing to communicate with outside world. One of their
parents, caretakers or teachers hold a printed board in front of them and by
analyzing their eye gaze manually, their intentions are interpreted. This
technique is often error prone and time consuming and depends on a single
caretaker.
Objective: We aimed to automate the eye tracking process electronically by
using commercially available tablet, computer or laptop and without requiring
any dedicated hardware for eye gaze tracking. The eye gaze tracker is used to
develop a video see through based AR (augmented reality) display that controls
a robotic device with eye gaze and deployed for a fabric printing task.
Methodology: We undertook a user centred design process and separately
evaluated the web cam based gaze tracker and the video see through based human
robot interaction involving users with SSMI. We also reported a user study on
manipulating a robotic arm with webcam based eye gaze tracker.
Results: Using our bespoke eye gaze controlled interface, able bodied users
can select one of nine regions of screen at a median of less than 2 secs and
users with SSMI can do so at a median of 4 secs. Using the eye gaze controlled
human-robot AR display, users with SSMI could undertake representative pick and
drop task at an average duration less than 15 secs and reach a randomly
designated target within 60 secs using a COTS eye tracker and at an average
time of 2 mins using the webcam based eye gaze tracker.
- Abstract（参考訳）: 背景: 重度スピーチと運動障害(SSMI)を持つ人は、しばしば外界とコミュニケーションするためにアイポインティングと呼ばれる技術を使用する。
親の1人、養育者または教師は、その前にプリント基板を持ち、手動で視線を分析することにより、彼らの意図を解釈する。
このテクニックは、しばしばエラーを起こしやすく、時間がかかり、単一の世話人に依存します。
目的: 市販のタブレット, コンピュータ, ラップトップを用いて, 視線追跡のための専用ハードウェアを必要とせず, 電子的に視線追跡プロセスを自動化することを目的とした。
目視追跡装置は、目視でロボットデバイスを制御し、布の印刷タスクに展開するビデオ・シースルー(拡張現実)ベースのar(拡張現実)ディスプレイを開発するために使用される。
方法論: ユーザ中心の設計プロセスを実行し, ウェブカメラを用いた視線追跡装置と, SSMIを利用するユーザによる人間ロボットのインタラクションによる映像視聴を別々に評価した。
また,webカメラを用いた視線追跡装置を用いたロボットアーム操作に関するユーザ調査も報告した。
結果: 視線制御インタフェースを用いて, 身体障害者は中央値2秒未満で9つの画面のうちの1つを選択でき, SSMI使用者は中央値4秒で選択できる。
視線制御された人ロボットARディスプレイを用いて、SSMIのユーザは平均15秒未満で代表的ピック・アンド・ドロップタスクを実行し、COTSアイトラッカーを用いて60秒以内にランダムに指定された目標に到達し、Webカメラベースの視線追跡装置を用いて平均2分間の時間で2分間に到達することができる。
関連論文リスト
- Stereo Vision Based Robot for Remote Monitoring with VR Support [0.0]
3DOFロボットは、人間のような頭部の動き、すなわちヨー、ピッチ、ロール、そして3Dステレオビデオを生成してリアルタイムにストリーミングする。
このビデオストリームは、VRボックスをサポートする汎用インターネットデバイスを通じてユーザに送信される。
ロボットはまた、ディープニューラルネットワークを使って動く物体や顔を追跡することもできる。
論文 参考訳（メタデータ） (2024-06-27T19:27:37Z) - Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。
ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
論文 参考訳（メタデータ） (2024-05-30T17:56:54Z) - Follow Anything: Open-set detection, tracking, and following in
real-time [89.83421771766682]
我々は,物体をリアルタイムで検出,追跡,追跡するロボットシステムを提案する。
私たちのアプローチは、何でも従う"(FAn)と呼ばれ、オープンな語彙とマルチモーダルモデルです。
FAnは軽量(6～8GB)グラフィックカードでラップトップにデプロイでき、毎秒6～20フレームのスループットを実現する。
論文 参考訳（メタデータ） (2023-08-10T17:57:06Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。
私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
論文 参考訳（メタデータ） (2022-12-07T18:55:53Z) - Learning Video-independent Eye Contact Segmentation from In-the-Wild
Videos [18.373736201140026]
本研究では,野生の映像における片方向眼球接触検出の課題に対処する。
私たちのゴールは、任意の入力ビデオの中で、人が視線ターゲットを見ていることを識別できる統一モデルを構築することです。
ラベル付きトレーニングデータの不足により、ラベルなしビデオの擬似ラベルを生成するための視線目標探索法を提案する。
論文 参考訳（メタデータ） (2022-10-05T05:46:40Z) - Do Pedestrians Pay Attention? Eye Contact Detection in the Wild [75.54077277681353]
都市環境では、人間は近くの人々との迅速かつ効率的なコミュニケーションのためにアイコンタクトに依存している。
本稿では,環境や歩行者距離を制御できない自動運転車の眼球接触検出,すなわち実世界のシナリオに着目した。
本稿では, セマンティックキーポイントを利用したアイコンタクト検出モデルを導入し, このハイレベルな表現が, 一般公開データセットJAADの最先端結果を実現することを示す。
ドメイン適応を研究するために、私たちは、野生のアイコンタクト検出のための大規模データセット、LOOKを作成しました。
論文 参考訳（メタデータ） (2021-12-08T10:21:28Z) - Towards Hardware-Agnostic Gaze-Trackers [0.5512295869673146]
本稿では、制約付き視線追跡のための外観に基づく手法として、ディープニューラルネットワークアーキテクチャを提案する。
我々のシステムは、キャリブレーションやデバイス固有の微調整なしで、GazeCaptureデータセット上で1.8073cmの誤差を達成した。
論文 参考訳（メタデータ） (2020-10-11T00:53:57Z) - Automated analysis of eye-tracker-based human-human interaction studies [2.433293618209319]
本稿では,移動眼球追跡データの自動解析に最先端のコンピュータビジョンアルゴリズムが用いられているかを検討する。
本稿では,人間の対面インタラクションにおける移動眼球追跡記録に焦点をあてる。
この単一パイプラインフレームワークを使用することで、現場での作業よりも正確かつ高速な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-07-09T10:00:03Z) - When We First Met: Visual-Inertial Person Localization for Co-Robot
Rendezvous [29.922954461039698]
ウェアラブル慣性計測装置(IMU)によって測定された動きとビデオ中の人物の動きを容易に一致させることができる視覚慣性特徴空間の学習法を提案する。
提案手法は,IMUデータとビデオの5秒間のみを用いて,80.7%の精度で目標人物を正確に位置決めすることができる。
論文 参考訳（メタデータ） (2020-06-17T16:15:01Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳（メタデータ） (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。