論文の概要: What Else Do I Need to Know? The Effect of Background Information on
Users' Reliance on AI Systems
- arxiv url: http://arxiv.org/abs/2305.14331v1
- Date: Tue, 23 May 2023 17:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 13:38:04.812295
- Title: What Else Do I Need to Know? The Effect of Background Information on
Users' Reliance on AI Systems
- Title（参考訳）: 知っておくべきことは何か?
背景情報がaiシステムへのユーザの依存度に及ぼす影響
- Authors: Navita Goyal, Eleftheria Briakou, Amanda Liu, Connor Baumler, Claire
Bonial, Jeffrey Micher, Clare R. Voss, Marine Carpuat, Hal Daum\'e III
- Abstract要約: 我々は、AI予測を評価するのに十分な情報がない状態で、ユーザーがAIシステムとどのように相互作用するかを研究する。
我々の研究は、ユーザーが正確性を評価するのに必要な十分な情報がない場合でも、AI予測に頼っていることを明らかにした。
- 参考スコア（独自算出の注目度）: 19.010022427257077
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems have shown impressive performance at answering questions by
retrieving relevant context. However, with the increasingly large models, it is
impossible and often undesirable to constrain models' knowledge or reasoning to
only the retrieved context. This leads to a mismatch between the information
that these models access to derive the answer and the information available to
the user consuming the AI predictions to assess the AI predicted answer. In
this work, we study how users interact with AI systems in absence of sufficient
information to assess AI predictions. Further, we ask the question of whether
adding the requisite background alleviates the concerns around over-reliance in
AI predictions. Our study reveals that users rely on AI predictions even in the
absence of sufficient information needed to assess its correctness. Providing
the relevant background, however, helps users catch AI errors better, reducing
over-reliance on incorrect AI predictions. On the flip side, background
information also increases users' confidence in their correct as well as
incorrect judgments. Contrary to common expectation, aiding a user's perusal of
the context and the background through highlights is not helpful in alleviating
the issue of over-confidence stemming from availability of more information.
Our work aims to highlight the gap between how NLP developers perceive
informational need in human-AI interaction and the actual human interaction
with the information available to them.
- Abstract（参考訳）: aiシステムは、関連するコンテキストを検索することで、質問に答える素晴らしいパフォーマンスを示している。
しかし、ますます大きなモデルでは、モデルの知識や推論を検索されたコンテキストのみに制限することは不可能であり、しばしば望ましくない。
これにより、これらのモデルが回答を導き出すためにアクセスする情報と、AI予測を消費してAI予測された回答を評価するために使用可能な情報とのミスマッチにつながる。
本研究では,AI予測を評価するのに十分な情報がない場合に,ユーザがAIシステムとどのように対話するかを検討する。
さらに、必要なバックグラウンドを追加することで、AI予測の過度な信頼性に関する懸念が軽減されるかどうかを問う。
本研究は,正確性を評価するのに必要な十分な情報がなくても,ユーザはai予測に依存していることを明らかにした。
しかし、関連するバックグラウンドを提供することで、AIエラーのキャッチがより良くなり、誤ったAI予測への過度な信頼が軽減される。
逆に、背景情報はユーザーの正しい判断に対する信頼を高めるだけでなく、誤った判断もする。
一般的な期待に反して、ハイライトによるユーザのコンテキストと背景の説得は、より多くの情報の提供によって生じる過度な信頼の問題を軽減するのに役立ちません。
我々の研究は、NLP開発者が人間とAIのインタラクションにおける情報的ニーズをどのように感じているかと、それらに利用可能な情報との実際のヒューマンインタラクションとの間にあるギャップを強調することを目的としている。
関連論文リスト
- Accounting for Sycophancy in Language Model Uncertainty Estimation [28.08509288774144]
梅毒率と不確実性評価との関係を初めて検討した。
ユーザの信頼感は,梅毒の影響を調節する上で重要な役割を担っていることを示す。
モデルとユーザの不確実性の両方を外部化することは、梅毒のバイアスの影響を軽減するのに役立ちます。
論文 参考訳（メタデータ） (2024-10-17T18:00:25Z) - Estimating Uncertainty with Implicit Quantile Network [0.0]
不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。
本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
論文 参考訳（メタデータ） (2024-08-26T13:33:14Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳（メタデータ） (2023-11-26T22:47:54Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-07T12:06:53Z) - Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である
モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。
1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
論文 参考訳（メタデータ） (2023-07-31T17:41:00Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - UKP-SQuARE v2 Explainability and Adversarial Attacks for Trustworthy QA [47.8796570442486]
質問回答システムは、現実の意思決定をサポートするアプリケーションにますますデプロイされています。
本質的に解釈可能なモデルやポストホックな説明可能性メソッドは、モデルがその予測にどのように到着するかをユーザが理解するのに役立ちます。
SQuAREの新バージョンであるSQuARE v2を導入し、モデルを比較するための説明可能性インフラストラクチャを提供する。
論文 参考訳（メタデータ） (2022-08-19T13:01:01Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳（メタデータ） (2022-06-22T17:02:01Z) - Exploring Weaknesses of VQA Models through Attribution Driven Insights [0.0]
近年の研究では、視覚障害者の視覚的質問にこれらのVQAモデルを効果的に適用している。
我々は、帰属レンズ(インプットの影響)を通して人気のあるVQAモデルを分析し、価値ある洞察を得る。
論文 参考訳（メタデータ） (2020-06-11T17:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。