論文の概要: More Than Accuracy: Towards Trustworthy Machine Learning Interfaces for
Object Recognition
- arxiv url: http://arxiv.org/abs/2008.01980v1
- Date: Wed, 5 Aug 2020 07:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 18:38:04.313475
- Title: More Than Accuracy: Towards Trustworthy Machine Learning Interfaces for
Object Recognition
- Title(参考訳): 精度以上:オブジェクト認識のための信頼できる機械学習インタフェースを目指して
- Authors: Hendrik Heuer, Andreas Breiter
- Abstract要約: 本稿では,画像中の物体を認識する機械学習(ML)システムのユーザエクスペリエンスについて検討する。
MLの背景を持つユーザを,異なるレベルの精度で3つのシステムの3つのビジュアライゼーションに公開しました。
インタビューでは,ユーザが使用するシステムの精度を評価する上で,可視化がいかに役立ったか,システムの可視化と精度が信頼と信頼にどのように影響するかを調べた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the user experience of visualizations of a machine
learning (ML) system that recognizes objects in images. This is important since
even good systems can fail in unexpected ways as misclassifications on
photo-sharing websites showed. In our study, we exposed users with a background
in ML to three visualizations of three systems with different levels of
accuracy. In interviews, we explored how the visualization helped users assess
the accuracy of systems in use and how the visualization and the accuracy of
the system affected trust and reliance. We found that participants do not only
focus on accuracy when assessing ML systems. They also take the perceived
plausibility and severity of misclassification into account and prefer seeing
the probability of predictions. Semantically plausible errors are judged as
less severe than errors that are implausible, which means that system accuracy
could be communicated through the types of errors.
- Abstract(参考訳): 本稿では,画像中の物体を認識する機械学習(ML)システムのユーザエクスペリエンスについて検討する。
写真共有サイトの誤分類が示すように、良いシステムでさえ予期せぬ方法で失敗する可能性がある。
本研究では,MLの背景を持つユーザに対して,異なるレベルの精度で3つのシステムの可視化を行った。
インタビューでは,ユーザが使用するシステムの精度を評価する上で,可視化がいかに役立ったか,システムの可視化と精度が信頼と信頼にどのように影響するかを調べた。
その結果,参加者はMLシステムの評価において,精度にのみ焦点を絞らないことがわかった。
彼らはまた、誤分類の妥当性と重大さを考慮に入れ、予測の確率を見ることを好む。
意味論的に妥当なエラーは、不確実なエラーよりも深刻ではないと判断されるため、システム精度はエラーの種類によって伝達される可能性がある。
関連論文リスト
- Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。
本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
論文 参考訳(メタデータ) (2024-02-08T22:05:45Z) - Comparing Differentiable Logics for Learning Systems: A Research Preview [0.0]
機械学習(ML)システムの形式的検証に関する研究は、データのみからの学習が、基礎となる背景知識を捉えるのに失敗することが多いことを示唆している。
制約を本質的に満足するMLモデルを作成するための有望なアプローチは、バックグラウンド知識を論理的制約としてエンコードし、いわゆる微分可能な論理を通じて学習プロセスを導くことである。
本研究のプレビューでは、弱教師付き文脈における文献の様々な論理を比較検討し、その結果を提示し、今後の研究に向けたオープンな問題を強調する。
論文 参考訳(メタデータ) (2023-11-16T11:33:08Z) - Fairness Indicators for Systematic Assessments of Visual Feature
Extractors [21.141633753573764]
視覚系の害やバイアスの定量化を目的とした3つの公正度指標を提案する。
我々の指標は、フェアネス評価のために収集された既存の公開データセットを使用する。
これらの指標は、新しいコンピュータビジョン技術による幅広い影響の徹底的な分析の代替にはならない。
論文 参考訳(メタデータ) (2022-02-15T17:45:33Z) - Real World Robustness from Systematic Noise [13.034436864136103]
本稿では,系統的誤りによる長期的かつ頻繁な敵対例を示す。
実世界の逆数例をベンチマークするために,ImageNet-Sデータセットを提案する。
例えば、ImageNetでトレーニングされた通常のResNet-50は、システムエラーにより1%-5%の精度差がある。
論文 参考訳(メタデータ) (2021-09-02T12:25:16Z) - Multi Agent System for Machine Learning Under Uncertainty in Cyber
Physical Manufacturing System [78.60415450507706]
近年の予測機械学習の進歩は、製造における様々なユースケースに応用されている。
ほとんどの研究は、それに関連する不確実性に対処することなく予測精度を最大化することに焦点を当てた。
本稿では,機械学習における不確実性の原因を特定し,不確実性下での機械学習システムの成功基準を確立する。
論文 参考訳(メタデータ) (2021-07-28T10:28:05Z) - Accountable Error Characterization [7.830479195591646]
エラーの発生時期と発生場所を理解するために,説明責任あるエラー評価手法 AEC を提案する。
AECを用いた感情分析タスクの誤り検出をケーススタディとして実施します。
論文 参考訳(メタデータ) (2021-05-10T23:40:01Z) - Fairness Constraints in Semi-supervised Learning [56.48626493765908]
我々は,最適化問題として定式化された,公平な半教師付き学習のためのフレームワークを開発する。
偏り・分散・雑音分解による半教師あり学習における識別源を理論的に分析する。
本手法は, 公平な半教師付き学習を達成でき, 公正な教師付き学習よりも精度と公平性のトレードオフが良好である。
論文 参考訳(メタデータ) (2020-09-14T04:25:59Z) - Soliciting Human-in-the-Loop User Feedback for Interactive Machine
Learning Reduces User Trust and Impressions of Model Accuracy [8.11839312231511]
混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。
本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-08-28T16:46:41Z) - An Information-Theoretic Approach to Personalized Explainable Machine
Learning [92.53970625312665]
本稿では,予測とユーザ知識のための簡易確率モデルを提案する。
説明と予測の間の条件付き相互情報による説明の効果を定量化する。
論文 参考訳(メタデータ) (2020-03-01T13:06:29Z) - End-to-End Models for the Analysis of System 1 and System 2 Interactions
based on Eye-Tracking Data [99.00520068425759]
本稿では,よく知られたStroopテストの視覚的修正版において,様々なタスクと潜在的な競合事象を特定するための計算手法を提案する。
統計的分析により、選択された変数は、異なるシナリオにおける注意負荷の変動を特徴付けることができることが示された。
機械学習技術は,異なるタスクを分類精度良く区別できることを示す。
論文 参考訳(メタデータ) (2020-02-03T17:46:13Z) - Training-free Monocular 3D Event Detection System for Traffic
Surveillance [93.65240041833319]
既存のイベント検出システムは、主に学習ベースであり、大量のトレーニングデータが利用可能な場合、十分なパフォーマンスを実現している。
現実のシナリオでは、十分なラベル付きトレーニングデータの収集は高価であり、時には不可能である。
本稿では,交通監視のためのトレーニング不要な単眼3Dイベント検出システムを提案する。
論文 参考訳(メタデータ) (2020-02-01T04:42:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。