論文の概要: Vital Insight: Assisting Experts' Context-Driven Sensemaking of Multi-modal Personal Tracking Data Using Visualization and Human-In-The-Loop LLM Agents

• arxiv url: http://arxiv.org/abs/2410.14879v2
• Date: Thu, 27 Feb 2025 22:31:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:37:39.574736
• Title: Vital Insight: Assisting Experts' Context-Driven Sensemaking of Multi-modal Personal Tracking Data Using Visualization and Human-In-The-Loop LLM Agents
• Title（参考訳）: Vital Insight:可視化とLLMエージェントを用いたマルチモーダルパーソナライズ・トラッキングデータにおける専門家のコンテキスト駆動型センス作成支援
• Authors: Jiachen Li, Xiwen Li, Justin Steinberg, Akshat Choube, Bingsheng Yao, Xuhai Xu, Dakuo Wang, Elizabeth Mynatt, Varun Mishra,
• Abstract要約: Vital Insightは、スマートフォンやウェアラブルからのマルチモーダル受動的センシングデータの人間のループ推論(センスメイキング)と可視化を可能にする、新しいLLM支援のプロトタイプシステムである。 我々は、専門家のそれとのインタラクションを観察し、専門家が直接データ表現とAIをサポートする推論の間をどう移動するかを説明する専門家のセンスメイキングモデルを開発する。
• 参考スコア（独自算出の注目度）: 29.73055078727462
• License:
• Abstract: Passive tracking methods, such as phone and wearable sensing, have become dominant in monitoring human behaviors in modern ubiquitous computing studies. While there have been significant advances in machine-learning approaches to translate periods of raw sensor data to model momentary behaviors, (e.g., physical activity recognition), there still remains a significant gap in the translation of these sensing streams into meaningful, high-level, context-aware insights that are required for various applications (e.g., summarizing an individual's daily routine). To bridge this gap, experts often need to employ a context-driven sensemaking process in real-world studies to derive insights. This process often requires manual effort and can be challenging even for experienced researchers due to the complexity of human behaviors. We conducted three rounds of user studies with 21 experts to explore solutions to address challenges with sensemaking. We follow a human-centered design process to identify needs and design, iterate, build, and evaluate Vital Insight (VI), a novel, LLM-assisted, prototype system to enable human-in-the-loop inference (sensemaking) and visualizations of multi-modal passive sensing data from smartphones and wearables. Using the prototype as a technology probe, we observe experts' interactions with it and develop an expert sensemaking model that explains how experts move between direct data representations and AI-supported inferences to explore, question, and validate insights. Through this iterative process, we also synthesize and discuss a list of design implications for the design of future AI-augmented visualization systems to better assist experts' sensemaking processes in multi-modal health sensing data.
• Abstract（参考訳）: スマートフォンやウェアラブルセンシングなどのパッシブトラッキング手法は、現代のユビキタスコンピューティング研究において、人間の行動を監視する上で支配的になっている。 生のセンサデータの周期をモデル化するための機械学習アプローチ(例えば、身体活動認識)には大きな進歩があったが、これらのセンシングストリームを、様々なアプリケーション(例えば、個人の日常を要約する)に必要な意味のある、高レベルなコンテキスト認識の洞察に翻訳する際、依然として大きなギャップが残っている。 このギャップを埋めるために、専門家はしばしば、洞察を導き出すために、現実世界の研究にコンテキスト駆動のセンスメイキングプロセスを採用する必要がある。 このプロセスは、しばしば手作業を必要とし、人間の振る舞いの複雑さのために経験豊富な研究者にも挑戦する。 我々は21名の専門家とともに3回のユーザスタディを行い、センスメイキングによる課題に対処するソリューションを探究した。 スマートフォンやウェアラブルのマルチモーダル受動的受動的受動的データ(マルチモーダル受動的受動的受動的受動的データ)を、人間中心の設計プロセスに従って、ニーズと設計、反復、構築、評価を行う(VI)。 プロトタイプを技術プローブとして使用して、専門家との専門家のインタラクションを観察し、専門家が直接データ表現とAIをサポートする推論の間を移動して、洞察を調査し、質問し、検証する方法を説明する専門家のセンスメイキングモデルを開発する。 この反復的プロセスを通じて、我々は、マルチモーダルヘルスセンシングデータにおける専門家のセンスメイキングプロセスを支援するために、将来のAI強化可視化システムの設計に関する設計上の意味のリストを合成し、議論する。

関連論文リスト

• User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
  この研究はHuman-Centered Artificial Intelligence (HCAI)にある。 一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-21T12:32:39Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• DISCOVER: A Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of Human Behaviour [6.716560115378451]
  我々は,人間行動分析のための計算駆動型データ探索を効率化するために,モジュール型でフレキシブルでユーザフレンドリなソフトウェアフレームワークを導入する。 我々の主な目的は、高度な計算方法論へのアクセスを民主化することであり、これにより研究者は、広範囲の技術的熟練を必要とせずに、詳細な行動分析を行うことができる。
  論文  参考訳（メタデータ） (2024-07-18T11:28:52Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Lessons Learned from EXMOS User Studies: A Technical Report Summarizing Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform [5.132827811038276]
  信頼,理解可能性,モデル改善の3つの重要な側面に異なる説明型の影響を明らかにすることを目的とした2つのユーザスタディ。 その結果,データ構成の複雑なプロセスにおいて,ユーザを効果的に導くには,グローバルなモデル中心の説明だけでは不十分であることが示唆された。 本稿では、説明によって駆動される対話型機械学習システムの開発に不可欠な意味について述べる。
  論文  参考訳（メタデータ） (2023-10-03T14:04:45Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• The State of the Art in Enhancing Trust in Machine Learning Models with the Use of Visualizations [0.0]
  機械学習(ML)モデルは、医学、バイオインフォマティクス、その他の科学など、様々な分野の複雑な応用で使われている。 しかし、ブラックボックスの性質のため、それらが提供する結果を理解し、信頼することは難しいこともある。 これにより、MLモデルの信頼性向上に関連する信頼性の高い視覚化ツールの需要が増加した。 本稿では,インタラクティブな可視化によるMLモデルの信頼性向上について,STAR(State-of-the-Art Report)を提案する。
  論文  参考訳（メタデータ） (2022-12-22T14:29:43Z)
• Visual Auditor: Interactive Visualization for Detection and Summarization of Model Biases [18.434430375939755]
  機械学習(ML)システムがますます普及するにつれて、これらのシステムをデプロイ前にバイアスとして監査する必要がある。 近年の研究では、データのサブセット(またはスライス)を解釈可能で過小評価する形で、交差点バイアスを効果的に識別するアルゴリズムが開発されている。 モデルバイアスを監査・要約するための対話型可視化ツールであるVisual Auditorを提案する。
  論文  参考訳（メタデータ） (2022-06-25T02:48:27Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。