論文の概要: Fostering Trust and Quantifying Value of AI and ML

• arxiv url: http://arxiv.org/abs/2407.05919v1
• Date: Mon, 8 Jul 2024 13:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 15:40:39.082508
• Title: Fostering Trust and Quantifying Value of AI and ML
• Title（参考訳）: AIとMLの信頼と価値の定量化
• Authors: Dalmo Cirne, Veena Calambur,
• Abstract要約: AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。 より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Intelligence (AI) and Machine Learning (ML) providers have a responsibility to develop valid and reliable systems. Much has been discussed about trusting AI and ML inferences (the process of running live data through a trained AI model to make a prediction or solve a task), but little has been done to define what that means. Those in the space of ML- based products are familiar with topics such as transparency, explainability, safety, bias, and so forth. Yet, there are no frameworks to quantify and measure those. Producing ever more trustworthy machine learning inferences is a path to increase the value of products (i.e., increased trust in the results) and to engage in conversations with users to gather feedback to improve products. In this paper, we begin by examining the dynamic of trust between a provider (Trustor) and users (Trustees). Trustors are required to be trusting and trustworthy, whereas trustees need not be trusting nor trustworthy. The challenge for trustors is to provide results that are good enough to make a trustee increase their level of trust above a minimum threshold for: 1- doing business together; 2- continuation of service. We conclude by defining and proposing a framework, and a set of viable metrics, to be used for computing a trust score and objectively understand how trustworthy a machine learning system can claim to be, plus their behavior over time.
• Abstract（参考訳）: 人工知能(AI)と機械学習(ML)プロバイダは、有効で信頼性の高いシステムを開発する責任がある。 AIとML推論(予測やタスクの解決のためにトレーニングされたAIモデルを通じてライブデータを運用するプロセス)の信頼性については、多くの議論がされているが、それが何を意味するのかを定義するための作業はほとんど行われていない。 MLベースのプロダクトの領域にいる人々は、透明性、説明可能性、安全性、バイアスなどといったトピックに精通しています。 しかし、それらを定量化し、測定するフレームワークはありません。 より信頼できる機械学習推論を生成することは、製品の価値(すなわち、結果に対する信頼の高まり)を高め、ユーザーと会話して製品を改善するためのフィードバックを集めるための道である。 本稿では,提供者 (Trustor) とユーザ (Trustees) の信頼関係について検討することから始める。 トラストは信頼し、信頼しなくてはならないが、トラストは信頼し、信頼する必要はない。 委託者にとっての課題は、信頼者が最低限の閾値を超える信頼レベルを上げるのに十分な結果を提供することである。 我々は、信頼スコアの計算に使用されるフレームワークと実行可能なメトリクスのセットを定義し、提案することで、マシンラーニングシステムがいかに信頼に値するかを客観的に理解し、時間とともに行動する。

関連論文リスト

• Whether to trust: the ML leap of faith [0.0]
  信頼は態度として一般的に理解されているが、これを正確に測定したり、管理したりすることはできない。 システム全体、ML、およびMLのコンポーネント部分に対する信頼を尊重するので、ほとんどのユーザは、MLを信頼するときに受ける信頼の跳躍を理解していません。 信頼を構築するための現在の取り組みは、MLのプロセスを説明するものである。これは、非MLの専門家が、それが複雑であるため理解するのが困難であり、説明は、彼ら自身の(知識のない)精神モデルとは無関係である。 本稿では,MLにおける内在的信頼を直接構築する革新的な方法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:36:19Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)
• A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
  現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
  論文  参考訳（メタデータ） (2023-10-20T14:41:46Z)
• Designing for Responsible Trust in AI Systems: A Communication Perspective [56.80107647520364]
  我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。 私たちは、AIシステムの能力として透明性とインタラクションを強調します。 我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
  論文  参考訳（メタデータ） (2022-04-29T00:14:33Z)
• Trust in AI: Interpretability is not necessary or sufficient, while black-box interaction is necessary and sufficient [0.0]
  人工知能に対する人間の信頼の問題は、応用機械学習における最も基本的な問題の1つである。 我々は、AI-as-toolフレームワークを動機付けるために、人間自動信頼に関する統計的学習理論と社会学的レンズから抽出する。 モデルアクセスのはしごによる信頼における解釈可能性の役割を明らかにする。
  論文  参考訳（メタデータ） (2022-02-10T19:59:23Z)
• Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI [55.4046755826066]
  我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。 ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。 我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
  論文  参考訳（メタデータ） (2020-10-15T03:07:23Z)
• Where Does Trust Break Down? A Quantitative Trust Analysis of Deep Neural Networks via Trust Matrix and Conditional Trust Densities [94.65749466106664]
  本稿では,新しい信頼量化戦略である信頼行列の概念を紹介する。 信頼行列は、所定のアクター・オークル回答シナリオに対して期待される質問・回答信頼を定義する。 我々は、条件付き信頼密度の概念により、信頼密度の概念をさらに拡張する。
  論文  参考訳（メタデータ） (2020-09-30T14:33:43Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。