論文の概要: Quality Metrics for Transparent Machine Learning With and Without Humans In the Loop Are Not Correlated

• arxiv url: http://arxiv.org/abs/2107.02033v1
• Date: Thu, 1 Jul 2021 12:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 13:17:27.756346
• Title: Quality Metrics for Transparent Machine Learning With and Without Humans In the Loop Are Not Correlated
• Title（参考訳）: ループ中の人間と無関係の透明機械学習における品質基準は相関しない
• Authors: Felix Biessmann and Dionysius Refiano
• Abstract要約: 心理物理学の手法を用いて,解釈可能なコンピュータビジョンアルゴリズムの品質について検討する。 この結果から,心理物理学的な実験により,機械学習における透明性の堅牢な品質評価が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The field explainable artificial intelligence (XAI) has brought about an arsenal of methods to render Machine Learning (ML) predictions more interpretable. But how useful explanations provided by transparent ML methods are for humans remains difficult to assess. Here we investigate the quality of interpretable computer vision algorithms using techniques from psychophysics. In crowdsourced annotation tasks we study the impact of different interpretability approaches on annotation accuracy and task time. We compare these quality metrics with classical XAI, automated quality metrics. Our results demonstrate that psychophysical experiments allow for robust quality assessment of transparency in machine learning. Interestingly the quality metrics computed without humans in the loop did not provide a consistent ranking of interpretability methods nor were they representative for how useful an explanation was for humans. These findings highlight the potential of methods from classical psychophysics for modern machine learning applications. We hope that our results provide convincing arguments for evaluating interpretability in its natural habitat, human-ML interaction, if the goal is to obtain an authentic assessment of interpretability.
• Abstract（参考訳）: フィールド説明可能な人工知能(XAI)は、機械学習(ML)予測をより解釈可能なものにするための一連の手法をもたらした。 しかし、透明なML手法による説明がいかに役に立つかは、人間にとって評価が難しい。 本稿では,心理学的手法を用いた解釈可能なコンピュータビジョンアルゴリズムの品質について検討する。 クラウドソースのアノテーションタスクでは、異なる解釈可能性アプローチがアノテーションの正確性とタスク時間に与える影響を調べます。 これらの品質指標を、従来のXAI、自動品質指標と比較します。 この結果から,心理物理学実験により,機械学習における透明性の堅牢な品質評価が可能であることが示唆された。 興味深いことに、ループ内で人間なしで計算された品質指標は、解釈可能性メソッドの一貫性のあるランキングを提供していなかった。 これらの知見は、現代の機械学習応用のための古典心理学の手法の可能性を強調している。 本研究は,人間とmlの相互作用である自然生息地における解釈可能性を評価するための説得力のある議論を提供することを願っている。

関連論文リスト

• A Multimodal Automated Interpretability Agent [63.8551718480664]
  MAIAは、ニューラルモデルを使用して、ニューラルモデル理解タスクを自動化するシステムである。 まず、画像の学習表現における(ニューロンレベルの)特徴を記述できるMAIAの能力を特徴付ける。 次に、MAIAは、刺激的な特徴に対する感度の低下と、誤分類される可能性のある入力を自動的に識別する2つの追加の解釈可能性タスクに役立てることができることを示す。
  論文  参考訳（メタデータ） (2024-04-22T17:55:11Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
  本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。 決定木を利用して,ロボット学習における絡み合いの要因を抽出する。 学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
  論文  参考訳（メタデータ） (2022-10-13T01:10:41Z)
• Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
  機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。 アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。 マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T09:35:38Z)
• Process Knowledge-infused Learning for Suicidality Assessment on Social Media [14.362199192484006]
  現在の手法は、データからラベルを予測する従来のパイプラインに依存している。 説明可能なAI(XAI)モデルを使用したラベル予測のためのデータに関するポストホックな説明は、エンドユーザに多くを望まれている。 PK-iLは構造化プロセスの知識を利用して、エンドユーザーにとって理にかなう予測プロセスを明確に説明する。
  論文  参考訳（メタデータ） (2022-04-26T19:43:41Z)
• HIVE: Evaluating the Human Interpretability of Visual Explanations [20.060507122989645]
  コンピュータビジョンにおける多種多様な解釈可能性のためのヒューマン評価フレームワークHIVE(Human Interpretability of Visual Explanations)を提案する。 以上の結果から,(実際に正しいかどうかは別として)人的信頼を保ちつつも,正確な予測と誤予測を区別するには十分でないことが示唆された。
  論文  参考訳（メタデータ） (2021-12-06T17:30:47Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• A Turing Test for Transparency [0.0]
  説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。 最近の実証的な証拠は、説明が反対の効果を持つことを示している。 この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
  論文  参考訳（メタデータ） (2021-06-21T20:09:40Z)
• A Comparative Approach to Explainable Artificial Intelligence Methods in Application to High-Dimensional Electronic Health Records: Examining the Usability of XAI [0.0]
  XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。 機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。 XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
  論文  参考訳（メタデータ） (2021-03-08T18:15:52Z)
• Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks [0.30458514384586394]
  本稿では,人間の翻訳品質の自動推定にDeep Learning法を用いる方法について検討する。 大規模な人間の注釈付きデータセットの実証結果は、ニューラルモデルが特徴に基づく手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-03-13T16:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。