論文の概要: Human-in-the-Loop User Feedback Affects Perceived Accuracy and Trust, but Task Subjectivity Matters
- arxiv url: http://arxiv.org/abs/2607.17548v1
- Date: Mon, 20 Jul 2026 04:46:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.50126
- Title: Human-in-the-Loop User Feedback Affects Perceived Accuracy and Trust, but Task Subjectivity Matters
- Title（参考訳）: ヒューマン・イン・ザ・ループのユーザフィードバックは正確さと信頼に影響を及ぼすが、タスク主観性は重要である
- Abstract要約: 本研究では,対話型フィードバック収集が客観的および主観的フィードバックを持つ領域におけるユーザ印象に与える影響を3つの実験により検討した。
その結果、客観的に正しい回答がある状況下では、HITLフィードバックを提供することで、双方のシステムに対する信頼感とシステム精度に対する認識が低下することがわかった。
これらの結果は、知的システムを設計する際に、異なるタイプのエンドユーザーフィードバックがユーザ信頼に与える影響を検討することの重要性を強調している。
- 参考スコア（独自算出の注目度）: 3.8028536988925477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While ML can produce complex models beyond those that a human could produce manually, incorporating human input can often improve performance beyond purely data-driven models. While this feedback could come from system designers or domain experts, in many cases, the end users who regularly use the system will naturally develop an understanding of its flaws and desire the ability to change the system's behavior based on their knowledge. While soliciting feedback from end users can result in significant model improvement over time, introducing these feedback techniques can also affect several human factors-such as trust or perception of system accuracy-that are not yet fully understood and have different effects reported in the existing literature. Therefore, we sought to build on the existing research to further explore how the act of providing feedback can affect user understanding of an intelligent system and its accuracy in different contexts. We present three controlled experiments that study the effects of interactive feedback collections on user impressions in domains with objective and subjective feedback. The results show that in a context where there is an objectively correct answer, providing HITL feedback lowered both participants' trust in the system and their perception of system accuracy, regardless of whether the system accuracy improved in response to their feedback. However, when the feedback being provided involved subjective opinion, no such negative bias was observed. Furthermore, in the objective context, participants distrusted the system over time, whereas participants in the subjective context mistrusted the system over time. These results highlight the importance of considering the effects of allowing different types of end-user feedback on user trust when designing intelligent systems.
- Abstract（参考訳）: MLは、人間が手動で生成できる以上の複雑なモデルを生成することができるが、人間の入力を組み込むことで、純粋なデータ駆動モデルよりもパフォーマンスが向上することが多い。
このフィードバックはシステム設計者やドメインの専門家によってもたらされる可能性があるが、多くの場合、定期的にシステムを利用するエンドユーザは、その欠陥に対する理解を自然に発展させ、自身の知識に基づいてシステムの振る舞いを変える能力を求める。
エンドユーザーからのフィードバックを募ることは、時間とともに大きなモデル改善をもたらすが、これらのフィードバック技術の導入は、システム精度の信頼や認識など、既存の文献で報告されているような、まだ完全には理解されておらず、異なる影響を持ついくつかの人的要因にも影響を及ぼす可能性がある。
そこで我々は,フィードバックの提供行為が知的システムのユーザ理解と,その正確性にどのように影響するかを,既存の研究に基づいて検討した。
本研究では,対話型フィードバック収集が客観的および主観的フィードバックを持つ領域におけるユーザ印象に与える影響を3つの制御実験により検討した。
その結果, 客観的に正解が得られた場合, HITLフィードバックを提供することで, システムに対する信頼感とシステム精度に対する認識を低下させることができた。
しかし、フィードバックが主観的意見に関わる場合、そのような負のバイアスは見られなかった。
さらに、客観的な文脈では、参加者は時間とともにシステムを不信視する一方、主観的文脈の参加者は時間とともにシステムを不信視する。
これらの結果は、知的システムを設計する際に、異なるタイプのエンドユーザーフィードバックがユーザ信頼に与える影響を検討することの重要性を強調している。
関連論文リスト
- User Feedback Provides a Unique Signal that LLMs Can not Detect [25.849928795741672]
ユーザからのフィードバックが、改善のための非常に実用的なシグナルであることを実証します。
フィードバックインフォームドリビジョンでは,ベースラインリビジョンよりもはるかに高いレートで目標課題を解決できることが示されている。
論文 参考訳（メタデータ） (2026-09-02T17:42:44Z) - Can User Feedback Help Issue Detection? An Empirical Study on a One-billion-user Online Service System [28.43595612060133]
我々は,1億ユーザオンラインサービスシステムにおいて,現実世界の6つのサービスから50,378,766件のユーザフィードバック項目について実証的研究を行った。
以上の結果から,ユーザからのフィードバックがシステム問題に関する無関係な情報を提供することが明らかとなった。
ユーザのフィードバック特性のみに基づいて、容易に検出できない深刻な問題を見つけ出す。
論文 参考訳（メタデータ） (2025-08-01T12:49:07Z) - Exploring the Impact of Personality Traits on Conversational Recommender Systems: A Simulation with Large Language Models [70.180385882195]
本稿では,対話型レコメンダシステム(CRS)のためのパーソナリティを考慮したユーザシミュレーションを提案する。
ユーザエージェントはカスタマイズ可能な性格特性と嗜好を誘導し、システムエージェントはCRS内の現実的な相互作用をシミュレートする説得能力を有する。
実験により,現在最先端のLCMは,特定の性格特性に適合した多様なユーザ応答を効果的に生成できることが示された。
論文 参考訳（メタデータ） (2025-04-09T13:21:17Z) - Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。
粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。
きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
論文 参考訳（メタデータ） (2024-06-24T17:19:34Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳（メタデータ） (2023-11-28T14:55:52Z) - Continually Improving Extractive QA via Human Feedback [59.49549491725224]
本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
論文 参考訳（メタデータ） (2023-05-21T14:35:32Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳（メタデータ） (2020-11-01T19:50:34Z) - Soliciting Human-in-the-Loop User Feedback for Interactive Machine
Learning Reduces User Trust and Impressions of Model Accuracy [8.11839312231511]
混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。
本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-08-28T16:46:41Z) - The Role of Domain Expertise in User Trust and the Impact of First
Impressions with Intelligent Systems [7.3817525365473875]
ドメイン固有のインテリジェントシステムは、システムユーザの意思決定プロセスを支援することを目的としています。
事前のドメイン知識は、システムのエラーを検出する際のユーザの信頼と信頼に影響を与える可能性がある。
本研究は,知的システムにおけるエラーに遭遇する際の注文バイアスとドメインの専門知識の関係について検討する。
論文 参考訳（メタデータ） (2020-08-20T17:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。