論文の概要: Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy

• arxiv url: http://arxiv.org/abs/2008.12735v1
• Date: Fri, 28 Aug 2020 16:46:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 01:48:15.481196
• Title: Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy
• Title（参考訳）: 対話型機械学習のためのヒューマン・イン・ザ・ループ・ユーザフィードバックによるモデル精度の信頼度と印象の低減
• Authors: Donald R. Honeycutt, Mahsan Nourani, Eric D. Ragan
• Abstract要約: 混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。 本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 8.11839312231511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed-initiative systems allow users to interactively provide feedback to potentially improve system performance. Human feedback can correct model errors and update model parameters to dynamically adapt to changing data. Additionally, many users desire the ability to have a greater level of control and fix perceived flaws in systems they rely on. However, how the ability to provide feedback to autonomous systems influences user trust is a largely unexplored area of research. Our research investigates how the act of providing feedback can affect user understanding of an intelligent system and its accuracy. We present a controlled experiment using a simulated object detection system with image data to study the effects of interactive feedback collection on user impressions. The results show that providing human-in-the-loop feedback lowered both participants' trust in the system and their perception of system accuracy, regardless of whether the system accuracy improved in response to their feedback. These results highlight the importance of considering the effects of allowing end-user feedback on user trust when designing intelligent systems.
• Abstract（参考訳）: 混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを改善できる。 ヒューマンフィードバックはモデルエラーを修正し、モデルパラメータを更新して変更データに動的に適応する。 さらに、多くのユーザは、依存するシステムのより高度なコントロールと認識上の欠陥を修正する能力を求めている。 しかし、自律システムにフィードバックを提供する能力がユーザーの信頼にどのように影響するかは、ほとんど未調査の研究分野である。 本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。 シミュレーション対象検出システムと画像データを用いた制御実験を行い,対話型フィードバック収集がユーザ印象に与える影響について検討する。 その結果, ループ内フィードバックの提供は, フィードバックに応じてシステム精度が向上したか否かに関わらず, システムに対する信頼度とシステム精度の認知度を低下させた。 これらの結果は、インテリジェントシステムを設計する際にエンドユーザのフィードバックがユーザ信頼に与える影響を検討することの重要性を浮き彫りにしている。

関連論文リスト

• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• User-Controllable Recommendation via Counterfactual Retrospective and Prospective Explanations [96.45414741693119]
  本稿では,説明可能性と可制御性をシームレスに統合するユーザ制御型レコメンデータシステムを提案する。 反ファクト推論を通じて、ふりかえりと予測的な説明の両方を提供することで、ユーザーはシステムに対する制御をカスタマイズできる。
  論文  参考訳（メタデータ） (2023-08-02T01:13:36Z)
• Causal Estimation of User Learning in Personalized Systems [5.016998307223021]
  パーソナライズされたシステムにおけるユーザアクションの非パラメトリック因果モデルを導入する。 ユーザ学習効果を測定するために設計されたCookie-Cookie-Day実験は、パーソナライズされると偏りが生じる。 我々は,パーソナライズシステムに介入し,ユーザ学習とパーソナライズを通じて媒介される因果効果を別々に識別するために必要なバリエーションを生成する新しい実験設計を導出した。
  論文  参考訳（メタデータ） (2023-06-01T09:37:43Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)
• The Role of Domain Expertise in User Trust and the Impact of First Impressions with Intelligent Systems [7.3817525365473875]
  ドメイン固有のインテリジェントシステムは、システムユーザの意思決定プロセスを支援することを目的としています。 事前のドメイン知識は、システムのエラーを検出する際のユーザの信頼と信頼に影響を与える可能性がある。 本研究は,知的システムにおけるエラーに遭遇する際の注文バイアスとドメインの専門知識の関係について検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:41:02Z)
• Assisted Perception: Optimizing Observations to Communicate State [112.40598205054994]
  我々は、ロボット遠隔操作や視覚障害のあるナビゲーションといったタスクにおいて、ユーザが世界の状態を見積もるのを支援することを目的としている。 ユーザによって処理された場合、より正確な内部状態推定につながる新しい観測結果を合成する。
  論文  参考訳（メタデータ） (2020-08-06T19:08:05Z)
• Personalization in Human-AI Teams: Improving the Compatibility-Accuracy Tradeoff [0.0]
  本稿では,更新後のシステムの精度向上と,事前のユーザエクスペリエンスとの互換性のトレードオフについて検討する。 特定のユーザに対して損失関数をパーソナライズすることにより、それらのユーザに対する互換性-正確性トレードオフを改善することが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-05T19:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。