論文の概要: Are we measuring trust correctly in explainability, interpretability, and transparency research?

• arxiv url: http://arxiv.org/abs/2209.00651v1
• Date: Wed, 31 Aug 2022 07:41:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:43:15.855423
• Title: Are we measuring trust correctly in explainability, interpretability, and transparency research?
• Title（参考訳）: 信頼は説明可能性、解釈可能性、透明性の研究において正しく測定されているか?
• Authors: Tim Miller
• Abstract要約: 本稿では,信頼度を計測・実証する3つの手法について紹介する。 最終論点ではなく、この話題に関する議論の出発点となることを意図している。
• 参考スコア（独自算出の注目度）: 4.452019519213712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an argument for why we are not measuring trust sufficiently in explainability, interpretability, and transparency research. Most studies ask participants to complete a trust scale to rate their trust of a model that has been explained/interpreted. If the trust is increased, we consider this a positive. However, there are two issues with this. First, we usually have no way of knowing whether participants should trust the model. Trust should surely decrease if a model is of poor quality. Second, these scales measure perceived trust rather than demonstrated trust. This paper showcases three methods that do a good job at measuring perceived and demonstrated trust. It is intended to be starting point for discussion on this topic, rather than to be the final say. The author invites critique and discussion.
• Abstract（参考訳）: 本稿では,説明可能性,解釈可能性,透明性研究において信頼度を十分に測定していない理由について論じる。 ほとんどの研究は参加者に対して、説明/解釈されたモデルの信頼度を評価するための信頼尺度を完成させるよう求めている。 信頼が高まれば、これは肯定的だと考えます。 しかし、これには2つの問題がある。 まず、通常、参加者がモデルを信じるべきかどうかを知る方法がありません。 モデルの品質が低ければ、信頼は確実に低下すべきです。 第二に、これらの尺度は信頼を示すのではなく、知覚された信頼を測定する。 本稿では,信頼度を計測・実証する3つの方法を紹介する。 最終的な発言ではなく、このトピックに関する議論の出発点となることを意図しています。 著者は批評と議論を招待する。

関連論文リスト

• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
  本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。 まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。 これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
  論文  参考訳（メタデータ） (2024-01-10T22:07:21Z)
• A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
  現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
  論文  参考訳（メタデータ） (2023-10-20T14:41:46Z)
• Distrust in (X)AI -- Measurement Artifact or Distinct Construct? [0.0]
  信頼は説明可能な人工知能(XAI)を開発する上で重要な動機である XAIでは不信は比較的過小評価されているようだ。 心理学的証拠は 信頼と不信を区別する
  論文  参考訳（メタデータ） (2023-03-29T07:14:54Z)
• Contextual Trust [0.0]
  私は哲学的な観点から信頼の性質を調べます。 信頼を文脈に敏感な状態として、正確に行うことを提案する。
  論文  参考訳（メタデータ） (2023-03-15T19:34:58Z)
• Trust and Reliance in XAI -- Distinguishing Between Attitudinal and Behavioral Measures [0.0]
  研究者たちは、AIは信頼を高めるためにより透明でなければならないと主張しており、透明性はXAIの主要な目標の1つだ。 この話題に関する実証研究は 透明性が信頼に与える影響に関して 決定的ではありません 我々は、行動的(客観的)信頼度尺度と個人的(客観的)信頼度尺度を明確に区別することを提唱する。
  論文  参考訳（メタデータ） (2022-03-23T10:39:39Z)
• On the Relation of Trust and Explainability: Why to Engineer for Trustworthiness [0.0]
  このような要求に対する主要な動機の1つは、説明可能性が利害関係者のシステムへの信頼を促進することが期待されていることである。 最近の心理学的な研究は、説明が必ずしも信頼を促進するとは限らないことを示唆している。 信頼性が自動的に信頼につながるわけではないとしても、主に信頼性のためにエンジニアする理由はいくつかある、と私たちは主張する。
  論文  参考訳（メタデータ） (2021-08-11T18:02:08Z)
• Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI [55.4046755826066]
  我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。 ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。 我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
  論文  参考訳（メタデータ） (2020-10-15T03:07:23Z)
• Where Does Trust Break Down? A Quantitative Trust Analysis of Deep Neural Networks via Trust Matrix and Conditional Trust Densities [94.65749466106664]
  本稿では,新しい信頼量化戦略である信頼行列の概念を紹介する。 信頼行列は、所定のアクター・オークル回答シナリオに対して期待される質問・回答信頼を定義する。 我々は、条件付き信頼密度の概念により、信頼密度の概念をさらに拡張する。
  論文  参考訳（メタデータ） (2020-09-30T14:33:43Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。