論文の概要: Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling

• arxiv url: http://arxiv.org/abs/2410.16668v3
• Date: Mon, 31 Mar 2025 03:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:28:35.954944
• Title: Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling
• Title（参考訳）: Satori: 意図的ユーザモデリングによる積極的なARアシスタントの実現
• Authors: Chenyi Li, Guande Wu, Gromit Yeuk-Yin Chan, Dishita G Turakhia, Sonia Castelo Quispe, Dong Li, Leslie Welch, Claudio Silva, Jing Qian,
• Abstract要約: 本稿では,ユーザの心理状態と環境状況の両方をモデル化し,ユーザを積極的に誘導する新しいARシステムである佐取について紹介する。 SatoriはBreief-Desire-Intention (BDI)フレームワークと最先端のマルチモーダル言語モデル(LLM)を統合し、文脈的に適切なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 13.615798957116063
• License:
• Abstract: Augmented Reality (AR) assistance is increasingly used for supporting users with physical tasks like assembly and cooking. However, most systems rely on reactive responses triggered by user input, overlooking rich contextual and user-specific information. To address this, we present Satori, a novel AR system that proactively guides users by modeling both -- their mental states and environmental contexts. Satori integrates the Belief-Desire-Intention (BDI) framework with the state-of-the-art multi-modal large language model (LLM) to deliver contextually appropriate guidance. Our system is designed based on two formative studies involving twelve experts. We evaluated the system with a sixteen within-subject study and found that Satori matches the performance of designer-created Wizard-of-Oz (WoZ) systems, without manual configurations or heuristics, thereby improving generalizability, reusability, and expanding the potential of AR assistance.
• Abstract（参考訳）: Augmented Reality (AR) は、組み立てや調理などの物理的なタスクでユーザを支援するために、ますます利用されている。 しかし、ほとんどのシステムは、ユーザ入力によって引き起こされる反応に頼り、リッチなコンテキスト情報とユーザ固有の情報を見渡す。 そこで本稿では,ユーザの心理状態と環境状況の両方をモデル化し,ユーザを積極的に誘導する新しいARシステムである佐取について紹介する。 SatoriはBreief-Desire-Intention (BDI)フレームワークと最先端のマルチモーダル言語モデル(LLM)を統合し、文脈的に適切なガイダンスを提供する。 本システムは12名の専門家による2つの形式研究に基づいて設計されている。 その結果,サトーリは手動構成やヒューリスティックを使わずに設計したウィザード・オブ・オズ(WoZ)システムの性能と一致し,汎用性,再利用性,AR支援の可能性を高めることができた。

関連論文リスト

• YA-TA: Towards Personalized Question-Answering Teaching Assistants using Instructor-Student Dual Retrieval-augmented Knowledge Fusion [13.225018761886743]
  そこで,本研究では,講義に基礎を置く学生に対して,理解し易い回答を提供するために,YA-TA(Virtual Teaching Assistant, VTA)を提案する。 本稿では、教師と学生の知識と知識の二重検索を組み込んだDual Retrieval-augmented Knowledge Fusion(DRAKE)フレームワークについて紹介する。 YA-TAのさらなる拡張として、Q&Aボードや自己実践ツールが提供され、全体的な学習体験が向上します。
  論文  参考訳（メタデータ） (2024-08-31T05:37:51Z)
• A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning [136.89318317245855]
  MoErgingは、専門家のモデルをリサイクルして、パフォーマンスや一般化を改善した集約システムを構築することを目的としている。 MoErgingメソッドの重要なコンポーネントは、特定の入力やアプリケーションに使用する専門家モデルを決定するルータの作成である。 このサーベイには、キーデザインの選択をカタログ化し、各手法に適した適用方法を明確にするための新しい分類が含まれている。
  論文  参考訳（メタデータ） (2024-08-13T17:49:00Z)
• FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
  本稿では,情報検索システムにおける命令の利用について検討する。 厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。 我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-22T14:42:29Z)
• Generalized User Representations for Transfer Learning [6.953653891411339]
  本稿では,大規模レコメンデーションシステムにおけるユーザ表現のための新しいフレームワークを提案する。 提案手法は,表現学習と伝達学習を組み合わせた2段階の手法を用いる。 提案するフレームワークは,代替手法と比較して,インフラコストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-03-01T15:05:21Z)
• R2H: Building Multimodal Navigation Helpers that Respond to Help Requests [30.695642371684663]
  まず、マルチモーダルナビゲーションヘルパーの開発を促進するために、新しいベンチマークであるRespond to Help Requests (R2H)を導入する。 R2Hは主に2つのタスクを含む:(1)対話履歴(RDH)、(2)対話履歴に基づいて情報応答を生成するヘルパーエージェントの能力を評価する、(2)対話中の応答(RdI)、(2)タスクパフォーマーとの一貫性のある協調における応答の有効性と効率を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:12:09Z)
• Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals [69.76245723797368]
  Read and Rewardは、Atariゲーム開発者がリリースしたマニュアルを読むことで、Atariゲーム上のRLアルゴリズムを高速化する。 各種RLアルゴリズムは,設計支援による性能向上とトレーニング速度の向上を実現している。
  論文  参考訳（メタデータ） (2023-02-09T05:47:03Z)
• Towards End-to-End Open Conversational Machine Reading [57.18251784418258]
  オープン検索型会話機械読解(OR-CMR)タスクでは,機械は対話履歴とテキスト知識ベースに応答するマルチターン質問を行う必要がある。 OR-CMRを完全エンドツーエンドで統一されたテキスト・ツー・テキスト・タスクとしてモデル化し、ShARCおよびOR-ShARCデータセットを用いた実験により、提案したエンドツーエンド・フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T15:50:44Z)
• BARCOR: Towards A Unified Framework for Conversational Recommendation Systems [40.464281243375815]
  会話推薦のためのBARTに基づく統合フレームワークを提案する。 また,映画領域におけるCRSのための軽量知識グラフの設計と収集を行う。
  論文  参考訳（メタデータ） (2022-03-27T09:42:16Z)
• Advances and Challenges in Conversational Recommender Systems: A Survey [133.93908165922804]
  現在の会話レコメンダーシステム(CRS)で使用されるテクニックの体系的なレビューを提供します。 CRS開発の主な課題を5つの方向にまとめます。 これらの研究の方向性は、情報検索(IR)、自然言語処理(NLP)、人間とコンピュータの相互作用(HCI)などの複数の研究分野を含みます。
  論文  参考訳（メタデータ） (2021-01-23T08:53:15Z)
• Optimal Assistance for Object-Rearrangement Tasks in Augmented Reality [2.6408564999772857]
  Augmented-Reality(AR)メガネは、オンボードセンサーにアクセスでき、クオーディアンタスクでユーザー支援を提供する機会を提供する。 本稿では、最適なアクションシーケンスとエンボディエージェントのポリシーを関連付けることで、ARアシストの計算と表示を行う新しいフレームワークを提案する。 提案したAR支援が,タスクの難易度に対するユーザのタスクパフォーマンスとエージェンシー感覚に与える影響について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:46:07Z)
• Soft Expert Reward Learning for Vision-and-Language Navigation [94.86954695912125]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従うことで、目に見えない環境で特定の場所を見つける必要がある。 本稿では,VLNタスクの工学的設計と一般化問題を克服するために,ソフトエキスパート・リワード・ラーニング(SERL)モデルを導入する。
  論文  参考訳（メタデータ） (2020-07-21T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。