論文の概要: Optimal Assistance for Object-Rearrangement Tasks in Augmented Reality
- arxiv url: http://arxiv.org/abs/2010.07358v1
- Date: Wed, 14 Oct 2020 18:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 14:04:13.086952
- Title: Optimal Assistance for Object-Rearrangement Tasks in Augmented Reality
- Title(参考訳): 拡張現実における物体配置タスクの最適支援
- Authors: Benjamin Newman, Kevin Carlberg and Ruta Desai
- Abstract要約: Augmented-Reality(AR)メガネは、オンボードセンサーにアクセスでき、クオーディアンタスクでユーザー支援を提供する機会を提供する。
本稿では、最適なアクションシーケンスとエンボディエージェントのポリシーを関連付けることで、ARアシストの計算と表示を行う新しいフレームワークを提案する。
提案したAR支援が,タスクの難易度に対するユーザのタスクパフォーマンスとエージェンシー感覚に与える影響について検討した。
- 参考スコア(独自算出の注目度): 2.6408564999772857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Augmented-reality (AR) glasses that will have access to onboard sensors and
an ability to display relevant information to the user present an opportunity
to provide user assistance in quotidian tasks. Many such tasks can be
characterized as object-rearrangement tasks. We introduce a novel framework for
computing and displaying AR assistance that consists of (1) associating an
optimal action sequence with the policy of an embodied agent and (2) presenting
this sequence to the user as suggestions in the AR system's heads-up display.
The embodied agent comprises a "hybrid" between the AR system and the user,
with the AR system's observation space (i.e., sensors) and the user's action
space (i.e., task-execution actions); its policy is learned by minimizing the
task-completion time. In this initial study, we assume that the AR system's
observations include the environment's map and localization of the objects and
the user. These choices allow us to formalize the problem of computing AR
assistance for any object-rearrangement task as a planning problem,
specifically as a capacitated vehicle-routing problem. Further, we introduce a
novel AR simulator that can enable web-based evaluation of AR-like assistance
and associated at-scale data collection via the Habitat simulator for embodied
artificial intelligence. Finally, we perform a study that evaluates user
response to the proposed form of AR assistance on a specific quotidian
object-rearrangement task, house cleaning, using our proposed AR simulator on
mechanical turk. In particular, we study the effect of the proposed AR
assistance on users' task performance and sense of agency over a range of task
difficulties. Our results indicate that providing users with such assistance
improves their overall performance and while users report a negative impact to
their agency, they may still prefer the proposed assistance to having no
assistance at all.
- Abstract(参考訳): オンボードセンサーへのアクセスと関連する情報をユーザに提示する機能を備えた拡張現実(ar)メガネは、クオーティディアンタスクでユーザ支援を提供する機会を提供する。
このようなタスクの多くは、オブジェクト再配置タスクとして特徴づけられる。
本稿では,(1)最適なアクションシーケンスと実施エージェントのポリシーを関連付けること,(2)このシーケンスをユーザに対してARシステムのヘッドアップディスプレイに提案することからなる,ARアシストの計算と表示のための新しいフレームワークを提案する。
実施エージェントは、ARシステムとユーザとの間の「ハイブリッド」と、ARシステムの観察空間(センサ)とユーザの行動空間(タスク実行行動)とを含み、そのポリシーは、タスク補完時間を最小化して学習される。
この初期研究では,ARシステムの観測には,環境マップとオブジェクトとユーザの局所化が含まれると仮定した。
これらの選択により、特にキャパシタブル・ルーティング問題として、任意のオブジェクト再配置タスクに対するarアシスタントの計算問題を計画問題として定式化することができる。
さらに,ebodied artificial intelligence のための habitat simulator を通じて,ar ライクアシスタンスと関連する大規模データ収集の web ベース評価を可能にする新たな ar シミュレータを提案する。
最後に,提案手法であるメカニカル・タークのarシミュレータを用いて,特定の商観的オブジェクト再配置タスクであるハウスクリーニングにおいて,提案するarアシスタンスに対するユーザ応答を評価する。
特に,提案したAR支援が,タスクの難易度に対するユーザのタスクパフォーマンスとエージェンシー感覚に与える影響について検討した。
以上より,このような支援を利用者に提供することで総合的なパフォーマンスが向上し,利用者が機関に対して負の影響を報告する一方で,支援を全く受けない支援を希望する可能性が示唆された。
関連論文リスト
- Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2023-10-23T16:14:05Z) - AVIS: Autonomous Visual Information Seeking with Large Language Model
Agent [123.75169211547149]
本稿では,視覚的質問応答フレームワークAVISを提案する。
本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。
AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-06-13T20:50:22Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳(メタデータ) (2022-12-07T05:41:58Z) - Learning Visualization Policies of Augmented Reality for Human-Robot
Collaboration [5.400491728405083]
人間とロボットのコラボレーション領域では、拡張現実(AR)技術により、ロボットの状態を視覚化することができる。
現在のARベースの可視化ポリシーは手作業で設計されており、多くの人的努力とドメイン知識が必要です。
VARILと呼ばれるフレームワークを開発し、ARエージェントがデモから可視化ポリシーを学習できるようにする。
論文 参考訳(メタデータ) (2022-11-13T22:03:20Z) - Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。
タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
論文 参考訳(メタデータ) (2021-03-23T20:43:31Z) - Reinforcement Learning for Sparse-Reward Object-Interaction Tasks in a
First-person Simulated 3D Environment [73.9469267445146]
高忠実な3Dシミュレーション環境において、AI2Thorのような一対一のオブジェクトインタラクションタスクは、強化学習エージェントに顕著なサンプル効率の課題をもたらす。
補助的なタスクとして注意的オブジェクトモデルを学ぶことで、監督なしに、ゼロからオブジェクトインタラクションタスクを学習できることが示される。
論文 参考訳(メタデータ) (2020-10-28T19:27:26Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳(メタデータ) (2020-10-19T21:48:31Z) - Joint Scene and Object Tracking for Cost-Effective Augmented Reality
Assisted Patient Positioning in Radiation Therapy [0.6299766708197884]
放射線治療における患者位置決めのためのAR(Augmented Reality)分野の研究は少ない。
本稿では,患者の位置追跡と患者の位置決定過程を対話的に支援する,効率的で費用対効果の高いアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-05T10:20:46Z) - Integrative Object and Pose to Task Detection for an
Augmented-Reality-based Human Assistance System using Neural Networks [3.0969191504482247]
本稿では,作業者の複雑な手作業を支援するために,AugmentedRealityに基づくヒューマンアシストシステムを提案する。
具体的には、Augmented Realityとオブジェクトとアクション検出器を組み合わせて、より直感的で柔軟なものにします。
その結果、未訓練労働者のタスク完了までの時間が大幅に短縮され、エラー率も低下した。
論文 参考訳(メタデータ) (2020-08-31T08:24:06Z) - Developing an Augmented Reality Tourism App through User-Centred Design
(Extended Version) [2.2559617939136505]
ユーザ中心設計(UCD)を用いて,AR観光アプリを開発した。
我々は、ドメイン分析、観光観察、半構造化インタビューの合成を通じて、要件を要請する。
最終製品は、英国の都市で観光業務に参加する20人のユーザーによって評価される。
論文 参考訳(メタデータ) (2020-01-29T23:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。