論文の概要: Quantifying Divergence for Human-AI Collaboration and Cognitive Trust
- arxiv url: http://arxiv.org/abs/2312.08722v2
- Date: Thu, 18 Jan 2024 08:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:34:57.823700
- Title: Quantifying Divergence for Human-AI Collaboration and Cognitive Trust
- Title（参考訳）: ヒューマン・aiコラボレーションと認知信頼の多様性の定量化
- Authors: M\"uge Kural, Ali Gebe\c{s}\c{c}e, Tilek Chubakov, G\"ozde G\"ul
\c{S}ahin
- Abstract要約: 本稿では,分散度に基づく意思決定類似度尺度を提案する。
我々は,テキスト・エンタテインメント・タスクについてユーザ・リサーチを行う。
ユーザは、最も類似したモデルと類似点や差が示され、コラボレーションの可能性について調査される。
- 参考スコア（独自算出の注目度）: 1.804922416527064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting the collaboration likelihood and measuring cognitive trust to AI
systems is more important than ever. To do that, previous research mostly focus
solely on the model features (e.g., accuracy, confidence) and ignore the human
factor. To address that, we propose several decision-making similarity measures
based on divergence metrics (e.g., KL, JSD) calculated over the labels acquired
from humans and a wide range of models. We conduct a user study on a textual
entailment task, where the users are provided with soft labels from various
models and asked to pick the closest option to them. The users are then shown
the similarities/differences to their most similar model and are surveyed for
their likelihood of collaboration and cognitive trust to the selected system.
Finally, we qualitatively and quantitatively analyze the relation between the
proposed decision-making similarity measures and the survey results. We find
that people tend to collaborate with their most similar models -- measured via
JSD -- yet this collaboration does not necessarily imply a similar level of
cognitive trust. We release all resources related to the user study (e.g.,
design, outputs), models, and metrics at our repo.
- Abstract（参考訳）: コラボレーションの可能性を予測し、AIシステムに対する認知的信頼を測定することは、これまで以上に重要である。
そのため、従来の研究は主にモデルの特徴(例えば精度、信頼性)にのみ焦点をあて、人間の要因を無視した。
そこで本研究では,人間から取得したラベルと広範囲のモデルから算出した分散度指標(KL, JSD)に基づく意思決定類似度尺度を提案する。
そこで,ユーザに対して,様々なモデルからソフトラベルを付与し,最も近い選択肢を選択するように依頼する。
ユーザは、最も類似したモデルと類似性/差異を示し、選択されたシステムに対するコラボレーションと認知信頼の可能性を調査する。
最後に,提案した意思決定類似度尺度と調査結果との関係を質的,定量的に分析した。
人々が最もよく似たモデル -- jsdによって測定される -- とコラボレーションする傾向があることが分かっていますが、このコラボレーションが必ずしも同じようなレベルの認知的信頼を意味するとは限らないのです。
私たちは、レポジトリでユーザリサーチ(設計、アウトプット)、モデル、メトリクスに関連するすべてのリソースをリリースします。
関連論文リスト
- Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳（メタデータ） (2024-11-13T10:42:11Z) - Context versus Prior Knowledge in Language Models [49.17879668110546]
言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。
本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
論文 参考訳（メタデータ） (2024-04-06T13:46:53Z) - Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳（メタデータ） (2023-11-16T07:22:56Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Think Twice: Measuring the Efficiency of Eliminating Prediction
Shortcuts of Question Answering Models [3.9052860539161918]
そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。
質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。
既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
論文 参考訳（メタデータ） (2023-05-11T14:35:00Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳（メタデータ） (2022-06-22T09:27:31Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。