論文の概要: Vital Insight: Assisting Experts' Sensemaking Process of Multi-modal Personal Tracking Data Using Visualization and LLM

• arxiv url: http://arxiv.org/abs/2410.14879v1
• Date: Fri, 18 Oct 2024 21:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:19.491103
• Title: Vital Insight: Assisting Experts' Sensemaking Process of Multi-modal Personal Tracking Data Using Visualization and LLM
• Title（参考訳）: Vital Insight:可視化とLLMを用いたマルチモーダル個人追跡データのエキスパートのセンス作成プロセス支援
• Authors: Jiachen Li, Justin Steinberg, Xiwen Li, Akshat Choube, Bingsheng Yao, Dakuo Wang, Elizabeth Mynatt, Varun Mishra,
• Abstract要約: Vital Insightは、ビジュアライゼーションと大規模言語モデルによる直接表現と間接推論を組み合わせたエビデンスベースの「センスメイキング」システムである。 我々は、マルチモーダルトラッキングの専門家14名とともに、ユーザテストセッションにおいて、Vital Insightを評価し、設計上の意味を合成し、AIが支援する推論と直接データ表現を反復的に移動して洞察を探索、検索、質問、検証する専門家のセンスメイキングモデルを開発した。
• 参考スコア（独自算出の注目度）: 25.264865296828116
• License:
• Abstract: Researchers have long recognized the socio-technical gaps in personal tracking research, where machines can never fully model the complexity of human behavior, making it only able to produce basic rule-based outputs or "black-box" results that lack clear explanations. Real-world deployments rely on experts for this complex translation from sparse data to meaningful insights. In this study, we consider this translation process from data to insights by experts as "sensemaking" and explore how HCI researchers can support it through Vital Insight, an evidence-based 'sensemaking' system that combines direct representation and indirect inference through visualization and Large Language Models. We evaluate Vital Insight in user testing sessions with 14 experts in multi-modal tracking, synthesize design implications, and develop an expert sensemaking model where they iteratively move between direct data representations and AI-supported inferences to explore, retrieve, question, and validate insights.
• Abstract（参考訳）: 機械は人間の行動の複雑さを完全にモデル化することはできないため、基本的なルールベースのアウトプットや、明確な説明を欠く「ブラックボックス」結果のみを生成できる。 現実のデプロイメントは、スパースデータから意味のある洞察への、この複雑な翻訳の専門家に依存しています。 本研究では、このデータから専門家の洞察への変換過程を「センスメイキング」とみなし、可視化と大規模言語モデルによる直接表現と間接推論を組み合わせたエビデンスベースの「センスメイキング」システムであるVital Insightを通じて、HCI研究者がそれをどのように支援できるかを考察する。 我々は、マルチモーダルトラッキングの専門家14名とともに、ユーザテストセッションにおいて、Vital Insightを評価し、設計上の意味を合成し、AIが支援する推論と直接データ表現を反復的に移動して洞察を探索、検索、質問、検証する専門家のセンスメイキングモデルを開発した。

関連論文リスト

• User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
  この研究はHuman-Centered Artificial Intelligence (HCAI)にある。 一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-21T12:32:39Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• DISCOVER: A Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of Human Behaviour [6.716560115378451]
  我々は,人間行動分析のための計算駆動型データ探索を効率化するために,モジュール型でフレキシブルでユーザフレンドリなソフトウェアフレームワークを導入する。 我々の主な目的は、高度な計算方法論へのアクセスを民主化することであり、これにより研究者は、広範囲の技術的熟練を必要とせずに、詳細な行動分析を行うことができる。
  論文  参考訳（メタデータ） (2024-07-18T11:28:52Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Lessons Learned from EXMOS User Studies: A Technical Report Summarizing Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform [5.132827811038276]
  信頼,理解可能性,モデル改善の3つの重要な側面に異なる説明型の影響を明らかにすることを目的とした2つのユーザスタディ。 その結果,データ構成の複雑なプロセスにおいて,ユーザを効果的に導くには,グローバルなモデル中心の説明だけでは不十分であることが示唆された。 本稿では、説明によって駆動される対話型機械学習システムの開発に不可欠な意味について述べる。
  論文  参考訳（メタデータ） (2023-10-03T14:04:45Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• The State of the Art in Enhancing Trust in Machine Learning Models with the Use of Visualizations [0.0]
  機械学習(ML)モデルは、医学、バイオインフォマティクス、その他の科学など、様々な分野の複雑な応用で使われている。 しかし、ブラックボックスの性質のため、それらが提供する結果を理解し、信頼することは難しいこともある。 これにより、MLモデルの信頼性向上に関連する信頼性の高い視覚化ツールの需要が増加した。 本稿では,インタラクティブな可視化によるMLモデルの信頼性向上について,STAR(State-of-the-Art Report)を提案する。
  論文  参考訳（メタデータ） (2022-12-22T14:29:43Z)
• Visual Auditor: Interactive Visualization for Detection and Summarization of Model Biases [18.434430375939755]
  機械学習(ML)システムがますます普及するにつれて、これらのシステムをデプロイ前にバイアスとして監査する必要がある。 近年の研究では、データのサブセット(またはスライス)を解釈可能で過小評価する形で、交差点バイアスを効果的に識別するアルゴリズムが開発されている。 モデルバイアスを監査・要約するための対話型可視化ツールであるVisual Auditorを提案する。
  論文  参考訳（メタデータ） (2022-06-25T02:48:27Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。