論文の概要: In Automation We Trust: Investigating the Role of Uncertainty in Active Learning Systems

• arxiv url: http://arxiv.org/abs/2004.00762v1
• Date: Thu, 2 Apr 2020 00:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 09:54:48.140319
• Title: In Automation We Trust: Investigating the Role of Uncertainty in Active Learning Systems
• Title（参考訳）: 自動化で信頼する: アクティブラーニングシステムにおける不確実性の役割の調査
• Authors: Michael L. Iuzzolino, Tetsumichi Umada, Nisar R. Ahmed, and Danielle A. Szafir
• Abstract要約: 分類の不確実性可視化と異なるアクティブラーニング(AL)クエリポリシーが自動分類システムにおけるアナリストの信頼にどのように影響するかを検討する。 問合せポリシーは,画像分類システムにおけるアナリストの信頼に大きく影響している。 本稿では,分類におけるアナリストの信頼に影響を及ぼす可能性のある,ALトレーニングフェーズで使用するオラクルクエリポリシと視覚化のセットを提案する。
• 参考スコア（独自算出の注目度）: 5.459797813771497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate how different active learning (AL) query policies coupled with classification uncertainty visualizations affect analyst trust in automated classification systems. A current standard policy for AL is to query the oracle (e.g., the analyst) to refine labels for datapoints where the classifier has the highest uncertainty. This is an optimal policy for the automation system as it yields maximal information gain. However, model-centric policies neglect the effects of this uncertainty on the human component of the system and the consequent manner in which the human will interact with the system post-training. In this paper, we present an empirical study evaluating how AL query policies and visualizations lending transparency to classification influence trust in automated classification of image data. We found that query policy significantly influences an analyst's trust in an image classification system, and we use these results to propose a set of oracle query policies and visualizations for use during AL training phases that can influence analyst trust in classification.
• Abstract（参考訳）: 分類の不確実性可視化と異なるアクティブラーニング(AL)クエリポリシーが自動分類システムにおけるアナリスト信頼にどのように影響するかを検討する。 ALの現在の標準方針は、分類器が最も不確実性が高いデータポイントのラベルを精査するために、オラクル(例えばアナリスト)に問い合わせることである。 これは、最大情報ゲインをもたらす自動化システムにとって最適なポリシーである。 しかしながら、モデル中心のポリシーは、この不確実性がシステムのヒューマンコンポーネントに与える影響や、人間がトレーニング後のシステムと相互作用する一連の方法を無視している。 本稿では、ALクエリポリシーと可視化が、画像データの自動分類における信頼度にどのように影響するかを実証的に評価する。 我々は、クエリポリシーが、画像分類システムに対するアナリストの信頼に大きな影響を与えることを見出し、これらの結果を用いて、alトレーニングフェーズで使われるoracleのクエリポリシーと視覚化のセットを提案し、分析者の分類の信頼に影響を与える可能性がある。

関連論文リスト

• Overcoming Common Flaws in the Evaluation of Selective Classification Systems [3.197540295466042]
  タスクアライメント、解釈可能性、柔軟性に関する選択的な分類において、マルチスレッドメトリクスに対する5つの要件を定義します。 本稿では,全要件を満たす総合リスクカバレッジ曲線(mathrmAUGRC$)に基づくエリアを提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:32:58Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment [3.3064235071867856]
  アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
  論文  参考訳（メタデータ） (2023-01-25T15:07:44Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Tradeoffs in Streaming Binary Classification under Limited Inspection Resources [14.178224954581069]
  イベントが順次到着し,疑わしいイベントの数が限られている,不均衡なバイナリ分類問題を考える。 マイノリティクラス検出率と検査能力のトレードオフを解析的に特徴付ける。 本研究では,実際の不正検出データセット上での選択手法を実装し,実験結果と解析的境界を比較検討する。
  論文  参考訳（メタデータ） (2021-10-05T23:23:11Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning [98.2036247050674]
  自己教師付き画像回転タスクによる学習表現の評価は、教師付き画像回転タスクの標準セットと高い相関性を示す。 教師付き評価を用いることなく、自動かつ効率的に拡張ポリシーを選択するアルゴリズム(SelfAugment)を提供する。
  論文  参考訳（メタデータ） (2020-09-16T14:49:03Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Policy Entropy for Out-of-Distribution Classification [8.747840760772268]
  我々は,新しいポリシエントロピーに基づくアウト・オブ・ディストリビューション分類器PEOCを提案する。 深層強化学習における未確認状態を確実に検出する。 最先端の1クラス分類アルゴリズムに対して非常に競争力がある。
  論文  参考訳（メタデータ） (2020-05-25T12:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。