Fugu-MT 論文翻訳(概要): On the Definition of Appropriate Trust and the Tools that Come with it

論文の概要: On the Definition of Appropriate Trust and the Tools that Come with it

arxiv url: http://arxiv.org/abs/2309.11937v1
Date: Thu, 21 Sep 2023 09:52:06 GMT
ステータス: 処理完了
システム内更新日: 2023-09-22 16:03:02.707089
Title: On the Definition of Appropriate Trust and the Tools that Come with it
Title（参考訳）: 適切な信頼の定義とそれに伴うツールについて
Authors: Helena L\"ofstr\"om
Abstract要約: 本稿は文献からの適切な信頼の定義から始まる。定義とモデル性能評価を比較し、適切な信頼とモデル性能評価の強い類似性を示す。本稿では,不確実性の測定方法や回帰の適切な信頼度など,ユーザパフォーマンスのさまざまな側面に対する簡易な評価手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Evaluating the efficiency of human-AI interactions is challenging, including subjective and objective quality aspects. With the focus on the human experience of the explanations, evaluations of explanation methods have become mostly subjective, making comparative evaluations almost impossible and highly linked to the individual user. However, it is commonly agreed that one aspect of explanation quality is how effectively the user can detect if the predictions are trustworthy and correct, i.e., if the explanations can increase the user's appropriate trust in the model. This paper starts with the definitions of appropriate trust from the literature. It compares the definitions with model performance evaluation, showing the strong similarities between appropriate trust and model performance evaluation. The paper's main contribution is a novel approach to evaluating appropriate trust by taking advantage of the likenesses between definitions. The paper offers several straightforward evaluation methods for different aspects of user performance, including suggesting a method for measuring uncertainty and appropriate trust in regression.
Abstract（参考訳）: 人間とAIの相互作用の効率を評価することは、主観的、客観的な品質面を含む困難である。説明の人間的経験に焦点をあてることにより,説明方法の評価が主観的になり,比較評価はほぼ不可能となり,個々のユーザと高度に関連している。しかし、説明品質の1つの側面は、ユーザが予測が信頼できるかどうか、正しいか、すなわち、モデルに対するユーザの適切な信頼を高めることができるかどうかを、いかに効果的に検出できるかである。本稿では,文献からの適切な信頼の定義から始める。この定義をモデル性能評価と比較し、適切な信頼度とモデルパフォーマンス評価との強い類似性を示す。この論文の主な貢献は、定義間の類似性を利用して適切な信頼を評価する新しいアプローチである。本稿では,不確実性の測定方法や回帰の適切な信頼度など,ユーザパフォーマンスのさまざまな側面に対する簡易な評価手法を提案する。

関連論文リスト

Automated Trustworthiness Testing for Machine Learning Classifiers [3.3423762257383207]
本稿では,テキスト分類器が信頼に値するかどうかを判断する信頼度オラクルを自動生成するTOWERを提案する。我々の仮説は、その説明中の単語が予測されたクラスと意味的に関連している場合、予測は信頼に値するというものである。その結果,TOWERはノイズの増加に伴って信頼性の低下を検出することができるが,人為的ラベル付きデータセットに対して評価しても有効ではないことがわかった。
論文参考訳（メタデータ） (2024-06-07T20:25:05Z)
ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性, Scoring Critera, Differentiating, User Experience, Responsible, Scalabilityの6つの柱からなる。
論文参考訳（メタデータ） (2024-05-28T22:45:28Z)
Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
論文参考訳（メタデータ） (2024-05-02T13:48:37Z)
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文参考訳（メタデータ） (2023-07-20T14:56:35Z)
Trust, but Verify: Using Self-Supervised Probing to Improve Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文参考訳（メタデータ） (2023-02-06T08:57:20Z)
Improving Model Understanding and Trust with Counterfactual Explanations of Model Confidence [4.385390451313721]
人間とエージェントのインタラクションシステムにおける信頼度を示すことは、人間とAIシステムの信頼を構築するのに役立つ。既存の研究の多くは、信頼度スコアをコミュニケーションの形式としてのみ用いた。本稿では, モデル信頼度を理解するための2つの手法を提案する。
論文参考訳（メタデータ） (2022-06-06T04:04:28Z)
Personalized multi-faceted trust modeling to determine trust links in social media and its potential for misinformation management [61.88858330222619]
ソーシャルメディアにおけるピア間の信頼関係を予測するためのアプローチを提案する。本稿では,データ駆動型多面信頼モデルを提案する。信頼を意識したアイテムレコメンデーションタスクで説明され、提案したフレームワークを大規模なYelpデータセットのコンテキストで評価する。
論文参考訳（メタデータ） (2021-11-11T19:40:51Z)
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文参考訳（メタデータ） (2021-09-19T19:05:00Z)
On the Interaction of Belief Bias and Explanations [4.211128681972148]
我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
論文参考訳（メタデータ） (2021-06-29T12:49:42Z)
Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。我々は、緩やかに必要であり、予測に十分である新しい説明を得る。我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文参考訳（メタデータ） (2020-05-31T05:52:05Z)
What's a Good Prediction? Challenges in evaluating an agent's knowledge [0.9281671380673306]
一般知識の精度と有用性の矛盾を示す。本稿では,オンライン連続学習環境において連続的に発生する代替評価手法を提案する。本稿では,その利用による予測評価について初めて考察する。
論文参考訳（メタデータ） (2020-01-23T21:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。