論文の概要: PrISM-Observer: Intervention Agent to Help Users Perform Everyday Procedures Sensed using a Smartwatch

• arxiv url: http://arxiv.org/abs/2407.16785v1
• Date: Tue, 23 Jul 2024 18:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 15:44:18.282806
• Title: PrISM-Observer: Intervention Agent to Help Users Perform Everyday Procedures Sensed using a Smartwatch
• Title（参考訳）: PrISM-Observer:スマートウォッチを使って毎日のプロシージャの実行を支援するインターベンションエージェント
• Authors: Riku Arakawa, Hiromu Yakura, Mayank Goel,
• Abstract要約: PrISM-Observerはスマートウォッチベースのコンテキスト対応リアルタイム介入システムで、エラーを防止して日常的なタスクをサポートする。 情報を探さなければならない従来のシステムとは異なり、エージェントはユーザーの行動を観察し、積極的に介入する。
• 参考スコア（独自算出の注目度）: 43.41204564594764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We routinely perform procedures (such as cooking) that include a set of atomic steps. Often, inadvertent omission or misordering of a single step can lead to serious consequences, especially for those experiencing cognitive challenges such as dementia. This paper introduces PrISM-Observer, a smartwatch-based, context-aware, real-time intervention system designed to support daily tasks by preventing errors. Unlike traditional systems that require users to seek out information, the agent observes user actions and intervenes proactively. This capability is enabled by the agent's ability to continuously update its belief in the user's behavior in real-time through multimodal sensing and forecast optimal intervention moments and methods. We first validated the steps-tracking performance of our framework through evaluations across three datasets with different complexities. Then, we implemented a real-time agent system using a smartwatch and conducted a user study in a cooking task scenario. The system generated helpful interventions, and we gained positive feedback from the participants. The general applicability of PrISM-Observer to daily tasks promises broad applications, for instance, including support for users requiring more involved interventions, such as people with dementia or post-surgical patients.
• Abstract（参考訳）: 私たちは定期的に、一連のアトミックステップを含む手順(調理など)を実行します。 特に認知症のような認知障害を経験する人には、しばしば、不注意な欠席や1つのステップの誤った順序付けが深刻な結果をもたらすことがある。 本稿では,スマートウォッチをベースとしたコンテキスト対応リアルタイム介入システムPrISM-Observerについて紹介する。 情報を探さなければならない従来のシステムとは異なり、エージェントはユーザーの行動を観察し、積極的に介入する。 この機能は、マルチモーダルセンシングと最適な介入モーメントや方法の予測を通じて、エージェントがリアルタイムでユーザの行動に対する信念を継続的に更新する能力によって実現される。 まず、異なる複雑さを持つ3つのデータセットに対する評価を通じて、フレームワークのステップトラッキング性能を検証した。 そして,スマートウォッチを用いたリアルタイムエージェントシステムを実装し,調理作業シナリオにおけるユーザスタディを行った。 システムは有用な介入を発生させ,参加者から肯定的なフィードバックを得た。 PrISM-Observerの日常業務への適用性は、例えば認知症や術後患者など、より関連する介入を必要とするユーザのサポートなど、幅広い応用を約束する。

関連論文リスト

• ProMQA: Question Answering Dataset for Multimodal Procedural Activity Understanding [9.921932789361732]
  本稿では,アプリケーション指向シナリオにおけるシステム進歩を測定するための新しい評価データセットProMQAを提案する。 ProMQAは401のマルチモーダルプロシージャQAペアから構成され、プロシージャアクティビティのユーザ記録とそれに対応する命令が組み合わされている。
  論文  参考訳（メタデータ） (2024-10-29T16:39:28Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。 SPA-Benchは3つの重要なコントリビューションを提供している。 英語と中国語の両方で、システムとサードパーティアプリをカバーする多様なタスクセットで、日々のルーチンで一般的に使用される機能に焦点を当てている。 複数の次元にまたがってエージェントのパフォーマンスを自動的に評価する新しい評価パイプラインは、タスク完了とリソース消費に関連する7つの指標を含んでいる。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)
• Active Fine-Tuning of Generalist Policies [54.65568433408307]
  AMF(Active Multi-task Fine-tuning)を提案する。 我々は,AMFの性能保証を規則性仮定で導き,複雑・高次元環境における実験的有効性を示す。
  論文  参考訳（メタデータ） (2024-10-07T13:26:36Z)
• Benchmarking Mobile Device Control Agents across Diverse Configurations [19.01954948183538]
  B-MoCAは、モバイルデバイス制御エージェントの評価と開発のためのベンチマークである。 我々は,大規模言語モデル (LLM) やマルチモーダル LLM を用いたエージェントを含む多種多様なエージェントをベンチマークする。 これらのエージェントは、簡単なタスクの実行の熟練度を示す一方で、複雑なタスクにおけるパフォーマンスの低さは、将来の研究が有効性を改善するための重要な機会を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-25T14:56:32Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)
• MobileAgent: enhancing mobile control via human-machine interaction and SOP integration [0.0]
  大規模言語モデル(LLM)は、ユーザのためのモバイルデバイス操作を自動化できるようになった。 パーソナライズされたユーザデータに関するプライバシー上の懸念は、モバイル操作中に発生し、ユーザ確認が必要になる。 エージェントと人間間の対話的なタスクを設計し、機密情報を識別し、パーソナライズされたユーザニーズに合わせる。 提案手法は,複数ステップのタスクにまたがる30Kのユニークな命令を含む新しいデバイス制御ベンチマークであるAitWで評価される。
  論文  参考訳（メタデータ） (2024-01-04T03:44:42Z)
• Conveying Autonomous Robot Capabilities through Contrasting Behaviour Summaries [8.413049356622201]
  比較行動要約を効率的に生成する適応探索法を提案する。 この結果から,適応探索により,人間がより優れたエージェントを正確に選択できる情報コントラストのシナリオを効果的に特定できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-01T18:20:59Z)
• One-shot action recognition towards novel assistive therapies [63.23654147345168]
  この作業は、アクション模倣ゲームを含む医療療法の自動分析によって動機づけられます。 提案手法は、異種運動データ条件を標準化する前処理ステップを組み込んだものである。 自閉症者に対するセラピー支援のための自動ビデオ分析の実際の利用事例について検討した。
  論文  参考訳（メタデータ） (2021-02-17T19:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。