論文の概要: On the Definition of Appropriate Trust and the Tools that Come with it
- arxiv url: http://arxiv.org/abs/2309.11937v1
- Date: Thu, 21 Sep 2023 09:52:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 16:03:02.707089
- Title: On the Definition of Appropriate Trust and the Tools that Come with it
- Title（参考訳）: 適切な信頼の定義とそれに伴うツールについて
- Authors: Helena L\"ofstr\"om
- Abstract要約: 本稿は文献からの適切な信頼の定義から始まる。
定義とモデル性能評価を比較し、適切な信頼とモデル性能評価の強い類似性を示す。
本稿では,不確実性の測定方法や回帰の適切な信頼度など,ユーザパフォーマンスのさまざまな側面に対する簡易な評価手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Evaluating the efficiency of human-AI interactions is challenging, including
subjective and objective quality aspects. With the focus on the human
experience of the explanations, evaluations of explanation methods have become
mostly subjective, making comparative evaluations almost impossible and highly
linked to the individual user. However, it is commonly agreed that one aspect
of explanation quality is how effectively the user can detect if the
predictions are trustworthy and correct, i.e., if the explanations can increase
the user's appropriate trust in the model. This paper starts with the
definitions of appropriate trust from the literature. It compares the
definitions with model performance evaluation, showing the strong similarities
between appropriate trust and model performance evaluation. The paper's main
contribution is a novel approach to evaluating appropriate trust by taking
advantage of the likenesses between definitions. The paper offers several
straightforward evaluation methods for different aspects of user performance,
including suggesting a method for measuring uncertainty and appropriate trust
in regression.
- Abstract（参考訳）: 人間とAIの相互作用の効率を評価することは、主観的、客観的な品質面を含む困難である。
説明の人間的経験に焦点をあてることにより,説明方法の評価が主観的になり,比較評価はほぼ不可能となり,個々のユーザと高度に関連している。
しかし、説明品質の1つの側面は、ユーザが予測が信頼できるかどうか、正しいか、すなわち、モデルに対するユーザの適切な信頼を高めることができるかどうかを、いかに効果的に検出できるかである。
本稿では,文献からの適切な信頼の定義から始める。
この定義をモデル性能評価と比較し、適切な信頼度とモデルパフォーマンス評価との強い類似性を示す。
この論文の主な貢献は、定義間の類似性を利用して適切な信頼を評価する新しいアプローチである。
本稿では,不確実性の測定方法や回帰の適切な信頼度など,ユーザパフォーマンスのさまざまな側面に対する簡易な評価手法を提案する。
関連論文リスト
- On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ
組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。
本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
論文 参考訳（メタデータ） (2024-11-21T09:46:55Z) - Automated Trustworthiness Testing for Machine Learning Classifiers [3.3423762257383207]
本稿では,テキスト分類器が信頼に値するかどうかを判断する信頼度オラクルを自動生成するTOWERを提案する。
我々の仮説は、その説明中の単語が予測されたクラスと意味的に関連している場合、予測は信頼に値するというものである。
その結果,TOWERはノイズの増加に伴って信頼性の低下を検出することができるが,人為的ラベル付きデータセットに対して評価しても有効ではないことがわかった。
論文 参考訳（メタデータ） (2024-06-07T20:25:05Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳（メタデータ） (2024-05-28T22:45:28Z) - Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - Trust, but Verify: Using Self-Supervised Probing to Improve
Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。
既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-06T08:57:20Z) - Improving Model Understanding and Trust with Counterfactual Explanations
of Model Confidence [4.385390451313721]
人間とエージェントのインタラクションシステムにおける信頼度を示すことは、人間とAIシステムの信頼を構築するのに役立つ。
既存の研究の多くは、信頼度スコアをコミュニケーションの形式としてのみ用いた。
本稿では, モデル信頼度を理解するための2つの手法を提案する。
論文 参考訳（メタデータ） (2022-06-06T04:04:28Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳（メタデータ） (2021-09-19T19:05:00Z) - On the Interaction of Belief Bias and Explanations [4.211128681972148]
我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。
本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
論文 参考訳（メタデータ） (2021-06-29T12:49:42Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z) - What's a Good Prediction? Challenges in evaluating an agent's knowledge [0.9281671380673306]
一般知識の精度と有用性の矛盾を示す。
本稿では,オンライン連続学習環境において連続的に発生する代替評価手法を提案する。
本稿では,その利用による予測評価について初めて考察する。
論文 参考訳（メタデータ） (2020-01-23T21:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。