論文の概要: How Much Can We Really Trust You? Towards Simple, Interpretable Trust
Quantification Metrics for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2009.05835v3
- Date: Sat, 3 Apr 2021 15:08:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 07:41:07.165971
- Title: How Much Can We Really Trust You? Towards Simple, Interpretable Trust
Quantification Metrics for Deep Neural Networks
- Title（参考訳）: あなたをどれだけ信用できるの?
深層ニューラルネットワークのためのシンプルで解釈可能な信頼定量化メトリクスに向けて
- Authors: Alexander Wong, Xiao Yu Wang, and Andrew Hryniowski
- Abstract要約: 我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。
我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。
提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
- 参考スコア（独自算出の注目度）: 94.65749466106664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A critical step to building trustworthy deep neural networks is trust
quantification, where we ask the question: How much can we trust a deep neural
network? In this study, we take a step towards simple, interpretable metrics
for trust quantification by introducing a suite of metrics for assessing the
overall trustworthiness of deep neural networks based on their behaviour when
answering a set of questions. We conduct a thought experiment and explore two
key questions about trust in relation to confidence: 1) How much trust do we
have in actors who give wrong answers with great confidence? and 2) How much
trust do we have in actors who give right answers hesitantly? Based on insights
gained, we introduce the concept of question-answer trust to quantify
trustworthiness of an individual answer based on confident behaviour under
correct and incorrect answer scenarios, and the concept of trust density to
characterize the distribution of overall trust for an individual answer
scenario. We further introduce the concept of trust spectrum for representing
overall trust with respect to the spectrum of possible answer scenarios across
correctly and incorrectly answered questions. Finally, we introduce
NetTrustScore, a scalar metric summarizing overall trustworthiness. The suite
of metrics aligns with past social psychology studies that study the
relationship between trust and confidence. Leveraging these metrics, we
quantify the trustworthiness of several well-known deep neural network
architectures for image recognition to get a deeper understanding of where
trust breaks down. The proposed metrics are by no means perfect, but the hope
is to push the conversation towards better metrics to help guide practitioners
and regulators in producing, deploying, and certifying deep learning solutions
that can be trusted to operate in real-world, mission-critical scenarios.
- Abstract（参考訳）: 信頼できるディープニューラルネットワークを構築するための重要なステップは、信頼定量化である。
本研究では,一連の質問に回答する際の,ディープニューラルネットワークの信頼性を評価するための一連の指標を導入することにより,信頼度定量化のための簡易かつ解釈可能なメトリクスへの一歩を踏み出した。
我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。
1)自信を持って間違った回答を下す俳優には、どの程度の信頼があるのか。
そして
2)正しい回答をためらう俳優には、どの程度の信頼があるのか。
得られた知見に基づいて、正解シナリオと誤解シナリオの信頼行動に基づいて、個別回答の信頼性を定量化する質問応答信頼の概念と、個別回答シナリオに対する総合信頼の分布を特徴付ける信頼密度の概念を導入する。
さらに,信頼スペクトルの概念を導入して,質問に正しく,不正確に回答できる回答シナリオのスペクトルについて,信頼全体を表現する。
最後に、全体的な信頼性を要約したスカラー計量であるNetTrustScoreを紹介する。
一連の指標は、信頼と信頼の関係を研究する過去の社会心理学研究と一致している。
これらのメトリクスを活用することで、画像認識のための有名なディープニューラルネットワークアーキテクチャの信頼性を定量化し、信頼が崩壊する場所をより深く理解します。
提案されたメトリクスは必ずしも完璧ではありませんが、現実のミッションクリティカルなシナリオで運用を信頼できるディープラーニングソリューションの生成、デプロイ、認定において、実践者や規制当局の指導を支援するために、よりよいメトリクスに向かって会話を推し進めることが目標です。
関連論文リスト
- Fostering Trust and Quantifying Value of AI and ML [0.0]
AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。
より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
論文 参考訳（メタデータ） (2024-07-08T13:25:28Z) - A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。
賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
論文 参考訳（メタデータ） (2023-10-20T14:41:46Z) - Distrust in (X)AI -- Measurement Artifact or Distinct Construct? [0.0]
信頼は説明可能な人工知能(XAI)を開発する上で重要な動機である
XAIでは不信は比較的過小評価されているようだ。
心理学的証拠は 信頼と不信を区別する
論文 参考訳（メタデータ） (2023-03-29T07:14:54Z) - KGTrust: Evaluating Trustworthiness of SIoT via Knowledge Enhanced Graph
Neural Networks [63.531790269009704]
ソーシャル・インターネット・オブ・モノ(Social Internet of Things, SIoT)は、スマート・オブジェクト(物)にソーシャルネットワークの概念を注入する、有望で新興のパラダイムである。
リスクと不確実性のため、解決すべき重要かつ緊急の問題は、SIoT内で信頼性の高い関係、すなわち信頼評価を確立することである。
本稿では,SIoTにおける信頼度向上のための知識強化グラフニューラルネットワーク(KGTrust)を提案する。
論文 参考訳（メタデータ） (2023-02-22T14:24:45Z) - TrustGNN: Graph Neural Network based Trust Evaluation via Learnable
Propagative and Composable Nature [63.78619502896071]
信頼評価は、サイバーセキュリティ、ソーシャルコミュニケーション、レコメンダシステムなど、多くのアプリケーションにとって重要である。
本稿では,信頼グラフの伝播性および構成性を考慮した新しい信頼評価手法TrustGNNを提案する。
具体的には、TrustGNNは、異なる伝播過程のための特定の伝播パターンを設計し、新しい信頼を生み出すための異なる伝播過程の貢献を区別する。
論文 参考訳（メタデータ） (2022-05-25T13:57:03Z) - On the Importance of Trust in Next-Generation Networked CPS Systems: An
AI Perspective [2.1055643409860734]
本稿では,ネットワークエージェントの状態を評価し,意思決定プロセスを改善する手段として信頼を提案する。
信頼関係は、プロトコル内のエンティティの相互作用によって生成された証拠に基づいている。
信頼の証拠を活用することで,フェデレートラーニングのパフォーマンスと安全性が向上することを示す。
論文 参考訳（メタデータ） (2021-04-16T02:12:13Z) - Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and
Goals of Human Trust in AI [55.4046755826066]
我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。
ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。
我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
論文 参考訳（メタデータ） (2020-10-15T03:07:23Z) - Where Does Trust Break Down? A Quantitative Trust Analysis of Deep
Neural Networks via Trust Matrix and Conditional Trust Densities [94.65749466106664]
本稿では,新しい信頼量化戦略である信頼行列の概念を紹介する。
信頼行列は、所定のアクター・オークル回答シナリオに対して期待される質問・回答信頼を定義する。
我々は、条件付き信頼密度の概念により、信頼密度の概念をさらに拡張する。
論文 参考訳（メタデータ） (2020-09-30T14:33:43Z) - Towards Time-Aware Context-Aware Deep Trust Prediction in Online Social
Networks [0.4061135251278187]
信頼は、情報ソースが信頼できるか、誰と共有すべきか、誰から情報を受け入れるべきかを決定する尺度として定義できる。
ソーシャルスパマー検出、フェイクニュース検出、リツイート行動検出、レコメンデーションシステムなど、オンラインソーシャルネットワーク(OSN)への信頼のためのいくつかのアプリケーションがある。
信頼予測は、現在接続されていない2人のユーザー間の新しい信頼関係を予測するプロセスである。
論文 参考訳（メタデータ） (2020-03-21T01:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。