論文の概要: Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling

• arxiv url: http://arxiv.org/abs/2410.16668v1
• Date: Tue, 22 Oct 2024 03:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:52.770383
• Title: Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling
• Title（参考訳）: Satori: 意図的ユーザモデリングによる積極的なARアシスタントの実現
• Authors: Chenyi Li, Guande Wu, Gromit Yeuk-Yin Chan, Dishita G Turakhia, Sonia Castelo Quispe, Dong Li, Leslie Welch, Claudio Silva, Jing Qian,
• Abstract要約: 本稿では,ユーザ状態と環境状況の両方をモデル化し,積極的なガイダンスを提供する新しいAR支援システムである佐取を提案する。 本稿では,Breief-Desire-Intention(BDI)モデルと最先端のマルチモーダル言語モデル(LLM)を組み合わせて,文脈的に適切なガイダンスを推測する。
• 参考スコア（独自算出の注目度）: 13.615798957116063
• License:
• Abstract: Augmented Reality assistance are increasingly popular for supporting users with tasks like assembly and cooking. However, current practice typically provide reactive responses initialized from user requests, lacking consideration of rich contextual and user-specific information. To address this limitation, we propose a novel AR assistance system, Satori, that models both user states and environmental contexts to deliver proactive guidance. Our system combines the Belief-Desire-Intention (BDI) model with a state-of-the-art multi-modal large language model (LLM) to infer contextually appropriate guidance. The design is informed by two formative studies involving twelve experts. A sixteen within-subject study find that Satori achieves performance comparable to an designer-created Wizard-of-Oz (WoZ) system without relying on manual configurations or heuristics, thereby enhancing generalizability, reusability and opening up new possibilities for AR assistance.
• Abstract（参考訳）: 拡張現実(Augmented Reality)支援は、組み立てや調理などのタスクでユーザをサポートすることで、ますます人気が高まっている。 しかしながら、現在のプラクティスは一般的に、リッチなコンテキストとユーザ固有の情報を考慮せずに、ユーザリクエストから初期化されたリアクティブな応答を提供する。 この制限に対処するために,ユーザ状態と環境コンテキストの両方をモデル化し,積極的なガイダンスを提供する新しいAR支援システムである佐取を提案する。 本稿では,Breief-Desire-Intention(BDI)モデルと最先端のマルチモーダル言語モデル(LLM)を組み合わせて,文脈的に適切なガイダンスを推測する。 このデザインは、12人の専門家を含む2つの形式的な研究によって知らされる。 16の内的調査により、サトーリは手動構成やヒューリスティックに頼らずに、デザイナーが作ったWizard-of-Oz(WoZ)システムに匹敵する性能を達成し、汎用性、再利用性を高め、ARアシストの新たな可能性を開くことが判明した。

関連論文リスト

• YA-TA: Towards Personalized Question-Answering Teaching Assistants using Instructor-Student Dual Retrieval-augmented Knowledge Fusion [13.225018761886743]
  そこで,本研究では,講義に基礎を置く学生に対して,理解し易い回答を提供するために,YA-TA(Virtual Teaching Assistant, VTA)を提案する。 本稿では、教師と学生の知識と知識の二重検索を組み込んだDual Retrieval-augmented Knowledge Fusion(DRAKE)フレームワークについて紹介する。 YA-TAのさらなる拡張として、Q&Aボードや自己実践ツールが提供され、全体的な学習体験が向上します。
  論文  参考訳（メタデータ） (2024-08-31T05:37:51Z)
• A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning [136.89318317245855]
  MoErgingは、専門家のモデルをリサイクルして、パフォーマンスや一般化を改善した集約システムを構築することを目的としている。 MoErgingメソッドの重要なコンポーネントは、特定の入力やアプリケーションに使用する専門家モデルを決定するルータの作成である。 このサーベイには、キーデザインの選択をカタログ化し、各手法に適した適用方法を明確にするための新しい分類が含まれている。
  論文  参考訳（メタデータ） (2024-08-13T17:49:00Z)
• FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
  本稿では,情報検索システムにおける命令の利用について検討する。 厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。 我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-22T14:42:29Z)
• Generalized User Representations for Transfer Learning [6.953653891411339]
  本稿では,大規模レコメンデーションシステムにおけるユーザ表現のための新しいフレームワークを提案する。 提案手法は,表現学習と伝達学習を組み合わせた2段階の手法を用いる。 提案するフレームワークは,代替手法と比較して,インフラコストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-03-01T15:05:21Z)
• R2H: Building Multimodal Navigation Helpers that Respond to Help Requests [30.695642371684663]
  まず、マルチモーダルナビゲーションヘルパーの開発を促進するために、新しいベンチマークであるRespond to Help Requests (R2H)を導入する。 R2Hは主に2つのタスクを含む:(1)対話履歴(RDH)、(2)対話履歴に基づいて情報応答を生成するヘルパーエージェントの能力を評価する、(2)対話中の応答(RdI)、(2)タスクパフォーマーとの一貫性のある協調における応答の有効性と効率を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:12:09Z)
• Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals [69.76245723797368]
  Read and Rewardは、Atariゲーム開発者がリリースしたマニュアルを読むことで、Atariゲーム上のRLアルゴリズムを高速化する。 各種RLアルゴリズムは,設計支援による性能向上とトレーニング速度の向上を実現している。
  論文  参考訳（メタデータ） (2023-02-09T05:47:03Z)
• Towards End-to-End Open Conversational Machine Reading [57.18251784418258]
  オープン検索型会話機械読解(OR-CMR)タスクでは,機械は対話履歴とテキスト知識ベースに応答するマルチターン質問を行う必要がある。 OR-CMRを完全エンドツーエンドで統一されたテキスト・ツー・テキスト・タスクとしてモデル化し、ShARCおよびOR-ShARCデータセットを用いた実験により、提案したエンドツーエンド・フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T15:50:44Z)
• BARCOR: Towards A Unified Framework for Conversational Recommendation Systems [40.464281243375815]
  会話推薦のためのBARTに基づく統合フレームワークを提案する。 また,映画領域におけるCRSのための軽量知識グラフの設計と収集を行う。
  論文  参考訳（メタデータ） (2022-03-27T09:42:16Z)
• Advances and Challenges in Conversational Recommender Systems: A Survey [133.93908165922804]
  現在の会話レコメンダーシステム(CRS)で使用されるテクニックの体系的なレビューを提供します。 CRS開発の主な課題を5つの方向にまとめます。 これらの研究の方向性は、情報検索(IR)、自然言語処理(NLP)、人間とコンピュータの相互作用(HCI)などの複数の研究分野を含みます。
  論文  参考訳（メタデータ） (2021-01-23T08:53:15Z)
• Optimal Assistance for Object-Rearrangement Tasks in Augmented Reality [2.6408564999772857]
  Augmented-Reality(AR)メガネは、オンボードセンサーにアクセスでき、クオーディアンタスクでユーザー支援を提供する機会を提供する。 本稿では、最適なアクションシーケンスとエンボディエージェントのポリシーを関連付けることで、ARアシストの計算と表示を行う新しいフレームワークを提案する。 提案したAR支援が,タスクの難易度に対するユーザのタスクパフォーマンスとエージェンシー感覚に与える影響について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:46:07Z)
• Soft Expert Reward Learning for Vision-and-Language Navigation [94.86954695912125]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従うことで、目に見えない環境で特定の場所を見つける必要がある。 本稿では,VLNタスクの工学的設計と一般化問題を克服するために,ソフトエキスパート・リワード・ラーニング(SERL)モデルを導入する。
  論文  参考訳（メタデータ） (2020-07-21T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。