論文の概要: Optimal Assistance for Object-Rearrangement Tasks in Augmented Reality
- arxiv url: http://arxiv.org/abs/2010.07358v1
- Date: Wed, 14 Oct 2020 18:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 14:04:13.086952
- Title: Optimal Assistance for Object-Rearrangement Tasks in Augmented Reality
- Title（参考訳）: 拡張現実における物体配置タスクの最適支援
- Authors: Benjamin Newman, Kevin Carlberg and Ruta Desai
- Abstract要約: Augmented-Reality(AR)メガネは、オンボードセンサーにアクセスでき、クオーディアンタスクでユーザー支援を提供する機会を提供する。
本稿では、最適なアクションシーケンスとエンボディエージェントのポリシーを関連付けることで、ARアシストの計算と表示を行う新しいフレームワークを提案する。
提案したAR支援が,タスクの難易度に対するユーザのタスクパフォーマンスとエージェンシー感覚に与える影響について検討した。
- 参考スコア（独自算出の注目度）: 2.6408564999772857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Augmented-reality (AR) glasses that will have access to onboard sensors and
an ability to display relevant information to the user present an opportunity
to provide user assistance in quotidian tasks. Many such tasks can be
characterized as object-rearrangement tasks. We introduce a novel framework for
computing and displaying AR assistance that consists of (1) associating an
optimal action sequence with the policy of an embodied agent and (2) presenting
this sequence to the user as suggestions in the AR system's heads-up display.
The embodied agent comprises a "hybrid" between the AR system and the user,
with the AR system's observation space (i.e., sensors) and the user's action
space (i.e., task-execution actions); its policy is learned by minimizing the
task-completion time. In this initial study, we assume that the AR system's
observations include the environment's map and localization of the objects and
the user. These choices allow us to formalize the problem of computing AR
assistance for any object-rearrangement task as a planning problem,
specifically as a capacitated vehicle-routing problem. Further, we introduce a
novel AR simulator that can enable web-based evaluation of AR-like assistance
and associated at-scale data collection via the Habitat simulator for embodied
artificial intelligence. Finally, we perform a study that evaluates user
response to the proposed form of AR assistance on a specific quotidian
object-rearrangement task, house cleaning, using our proposed AR simulator on
mechanical turk. In particular, we study the effect of the proposed AR
assistance on users' task performance and sense of agency over a range of task
difficulties. Our results indicate that providing users with such assistance
improves their overall performance and while users report a negative impact to
their agency, they may still prefer the proposed assistance to having no
assistance at all.
- Abstract（参考訳）: オンボードセンサーへのアクセスと関連する情報をユーザに提示する機能を備えた拡張現実(ar)メガネは、クオーティディアンタスクでユーザ支援を提供する機会を提供する。
このようなタスクの多くは、オブジェクト再配置タスクとして特徴づけられる。
本稿では,(1)最適なアクションシーケンスと実施エージェントのポリシーを関連付けること,(2)このシーケンスをユーザに対してARシステムのヘッドアップディスプレイに提案することからなる,ARアシストの計算と表示のための新しいフレームワークを提案する。
実施エージェントは、ARシステムとユーザとの間の「ハイブリッド」と、ARシステムの観察空間(センサ)とユーザの行動空間(タスク実行行動)とを含み、そのポリシーは、タスク補完時間を最小化して学習される。
この初期研究では,ARシステムの観測には,環境マップとオブジェクトとユーザの局所化が含まれると仮定した。
これらの選択により、特にキャパシタブル・ルーティング問題として、任意のオブジェクト再配置タスクに対するarアシスタントの計算問題を計画問題として定式化することができる。
さらに,ebodied artificial intelligence のための habitat simulator を通じて,ar ライクアシスタンスと関連する大規模データ収集の web ベース評価を可能にする新たな ar シミュレータを提案する。
最後に,提案手法であるメカニカル・タークのarシミュレータを用いて,特定の商観的オブジェクト再配置タスクであるハウスクリーニングにおいて,提案するarアシスタンスに対するユーザ応答を評価する。
特に,提案したAR支援が,タスクの難易度に対するユーザのタスクパフォーマンスとエージェンシー感覚に与える影響について検討した。
以上より,このような支援を利用者に提供することで総合的なパフォーマンスが向上し,利用者が機関に対して負の影響を報告する一方で,支援を全く受けない支援を希望する可能性が示唆された。
関連論文リスト
- Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling [13.615798957116063]
本稿では,ユーザ状態と環境状況の両方をモデル化し,積極的なガイダンスを提供する新しいAR支援システムである佐取を提案する。
本稿では,Breief-Desire-Intention(BDI)モデルと最先端のマルチモーダル言語モデル(LLM)を組み合わせて,文脈的に適切なガイダンスを推測する。
論文 参考訳（メタデータ） (2024-10-22T03:53:46Z) - ARPOV: Expanding Visualization of Object Detection in AR with Panoramic Mosaic Stitching [0.0]
ARPOVは、ARヘッドセットによってキャプチャされたビデオに合わせたオブジェクト検出モデル出力を分析するための、インタラクティブなビジュアル分析ツールである。
提案ツールでは, 望ましくないフレームを自動的にフィルタリングしながら, パノラマ縫合を利用して環境の視界を拡大する。
論文 参考訳（メタデータ） (2024-10-01T20:29:14Z) - Interpretable Responsibility Sharing as a Heuristic for Task and Motion Planning [5.331052581441265]
解釈可能な責任共有(IRS)は、人間構築環境と固有のバイアスを活用することにより、家庭内ロボットの計画効率を高める。
このアプローチは、補助オブジェクトがタスクの責任を実施エージェントと共有する新しい概念である責任共有(Responsibility Sharing, RS)に根ざしている。
IRSは、タスク実行に必要な労力を削減し、全体的な意思決定プロセスを強化することで、従来の方法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-09-09T13:15:53Z) - Improving Zero-Shot ObjectNav with Generative Communication [60.84730028539513]
ゼロショットObjectNavの改良手法を提案する。
私たちのアプローチは、接地エージェントが制限され、時には障害のあるビューを持つ可能性があることを考慮に入れています。
論文 参考訳（メタデータ） (2024-08-03T22:55:26Z) - DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。
本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。
本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-30T09:15:21Z) - Instruct-ReID++: Towards Universal Purpose Instruction-Guided Person Re-identification [62.894790379098005]
本稿では,与えられた画像や言語命令に従って,モデルに画像の検索を要求する新しい命令-ReIDタスクを提案する。
Instruct-ReIDは一般的なReID設定の最初の探索であり、既存の6つのReIDタスクを異なる命令を割り当てることで特別なケースとして見ることができる。
本稿では,新しいベースラインモデル IRM を提案する。
論文 参考訳（メタデータ） (2024-05-28T03:35:46Z) - AVIS: Autonomous Visual Information Seeking with Large Language Model
Agent [123.75169211547149]
本稿では,視覚的質問応答フレームワークAVISを提案する。
本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。
AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
論文 参考訳（メタデータ） (2023-06-13T20:50:22Z) - Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。
タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
論文 参考訳（メタデータ） (2021-03-23T20:43:31Z) - Reinforcement Learning for Sparse-Reward Object-Interaction Tasks in a
First-person Simulated 3D Environment [73.9469267445146]
高忠実な3Dシミュレーション環境において、AI2Thorのような一対一のオブジェクトインタラクションタスクは、強化学習エージェントに顕著なサンプル効率の課題をもたらす。
補助的なタスクとして注意的オブジェクトモデルを学ぶことで、監督なしに、ゼロからオブジェクトインタラクションタスクを学習できることが示される。
論文 参考訳（メタデータ） (2020-10-28T19:27:26Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳（メタデータ） (2020-10-19T21:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。