論文の概要: Guidance Source Matters: How Guidance from AI, Expert, or a Group of Analysts Impacts Visual Data Preparation and Analysis

• arxiv url: http://arxiv.org/abs/2502.00682v1
• Date: Sun, 02 Feb 2025 05:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:57:21.854778
• Title: Guidance Source Matters: How Guidance from AI, Expert, or a Group of Analysts Impacts Visual Data Preparation and Analysis
• Title（参考訳）: ガイダンスソースの課題:AI、エキスパート、あるいはアナリストのグループからのガイダンスが、ビジュアルデータの準備と分析にどのように影響するか
• Authors: Arpit Narechania, Alex Endert, Atanu R Sinha,
• Abstract要約: ユーザがすべてのガイダンスソースを,(i)AI,(ii)人間専門家,(iii)人間アナリストのグループという3つのソースに特に関心を持って,同等に捉えているかどうかを問う。 ベンチマークとして,第4の情報源である (iv) 未配布のガイダンスを考える。 ガイダンスの源泉はユーザにとって重要だが,その見識にマッチするものではない。
• 参考スコア（独自算出の注目度）: 13.788858905752935
• License:
• Abstract: The progress in generative AI has fueled AI-powered tools like co-pilots and assistants to provision better guidance, particularly during data analysis. However, research on guidance has not yet examined the perceived efficacy of the source from which guidance is offered and the impact of this source on the user's perception and usage of guidance. We ask whether users perceive all guidance sources as equal, with particular interest in three sources: (i) AI, (ii) human expert, and (iii) a group of human analysts. As a benchmark, we consider a fourth source, (iv) unattributed guidance, where guidance is provided without attribution to any source, enabling isolation of and comparison with the effects of source-specific guidance. We design a five-condition between-subjects study, with one condition for each of the four guidance sources and an additional (v) no-guidance condition, which serves as a baseline to evaluate the influence of any kind of guidance. We situate our study in a custom data preparation and analysis tool wherein we task users to select relevant attributes from an unfamiliar dataset to inform a business report. Depending on the assigned condition, users can request guidance, which the system then provides in the form of attribute suggestions. To ensure internal validity, we control for the quality of guidance across source-conditions. Through several metrics of usage and perception, we statistically test five preregistered hypotheses and report on additional analysis. We find that the source of guidance matters to users, but not in a manner that matches received wisdom. For instance, users utilize guidance differently at various stages of analysis, including expressing varying levels of regret, despite receiving guidance of similar quality. Notably, users in the AI condition reported both higher post-task benefit and regret.
• Abstract（参考訳）: 生成AIの進歩は、特にデータ分析の間、より良いガイダンスを提供するために、共同パイロットやアシスタントのようなAI駆動のツールを加速させた。 しかし、ガイダンスに関する調査は、ガイダンス提供源の認知効果と、この情報源が利用者の認識とガイダンス利用に与える影響をまだ検証していない。 ユーザがすべてのガイダンスソースを同等に捉えているか,特に3つのソースに関心があるか,と問う。 (i)AI (二)人間専門家、及び (三)人間のアナリストのグループ。 ベンチマークとして、私たちは第4のソースを考えます。 (4)ソースに依存しないガイダンスが提供され、ソース固有のガイダンスの効果を分離し比較することができる。 我々は4つの誘導源のそれぞれに1つの条件と追加の条件を持つ5つの条件-対象間の研究を設計する。 五 あらゆる種類の指導の影響を評価するための基準として機能する無指導条件 本研究は、ユーザに対して、不慣れなデータセットから関連する属性を選択して、ビジネスレポートを通知するカスタムデータ準備分析ツールで実施する。 指定した条件に応じて、ユーザはガイダンスを要求でき、システムは属性提案の形式で提示する。 内部の妥当性を確保するため、ソース条件を越えたガイダンスの品質を制御します。 使用法と知覚の指標を用いて,5つの事前登録仮説を統計的に検証し,追加分析について報告する。 ガイダンスの源泉はユーザにとって重要だが,その見識にマッチするものではない。 例えば、ユーザーは同様の品質のガイダンスを受け取っているにもかかわらず、様々なレベルの後悔を表現するなど、分析の様々な段階で異なるガイダンスを利用する。 特に、AI状態のユーザーは、タスク後の利益と後悔の両方を報告した。

関連論文リスト

• Were You Helpful -- Predicting Helpful Votes from Amazon Reviews [0.0]
  本研究は,Amazon製品レビューの有用性に影響を及ぼす要因について,機械学習技術を用いて検討する。 レビュー支援の強力な予測因子として機能する重要なメタデータの特徴を同定する。 この知見は、文脈的およびユーザ行動的要因は、言語内容そのものよりも、レビューの有用性を示す可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-12-03T22:38:58Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Preliminary Insights on Industry Practices for Addressing Fairness Debt [4.546982900370235]
  本研究は,ソフトウェア業界のAIシステムにおいて,ソフトウェアプロフェッショナルがバイアスを特定し,対処する方法について検討する。 本稿では,公正性負債に関する最初の証拠を提示し,AIシステムにおける公平性に関連する問題を管理するための構造化ガイドラインの開発基盤を提供する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:42Z)
• InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
  3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。 財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。 単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
  論文  参考訳（メタデータ） (2024-07-08T22:06:09Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Combining inherent knowledge of vision-language models with unsupervised domain adaptation through strong-weak guidance [44.1830188215271]
  教師なしドメイン適応(UDA)は、ラベル付きソースデータセットを活用することで、データのラベル付けの面倒な作業を克服しようとする。 現在の視覚言語モデルは、顕著なゼロショット予測能力を示す。 我々は、ゼロショット予測を用いて、ソースとターゲットデータセットの整列を支援する、強弱誘導学習スキームを導入する。
  論文  参考訳（メタデータ） (2023-12-07T06:16:39Z)
• Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
  最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。 データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
  論文  参考訳（メタデータ） (2023-07-16T21:22:40Z)
• A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
  トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。 先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。 本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
  論文  参考訳（メタデータ） (2023-06-05T01:01:12Z)
• "There Is Not Enough Information": On the Effects of Explanations on Perceptions of Informational Fairness and Trustworthiness in Automated Decision-Making [0.0]
  自動意思決定システム(ADS)は、連続的な意思決定にますます利用されている。 我々は,情報の公平さに対する人々の認識を評価するために,人間による研究を行う。 定性的フィードバックの包括的分析は、説明のために人々のデシラタに光を当てる。
  論文  参考訳（メタデータ） (2022-05-11T20:06:03Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。