論文の概要: Challenges in explaining deep learning models for data with biological variation
- arxiv url: http://arxiv.org/abs/2406.09981v1
- Date: Fri, 14 Jun 2024 12:44:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 13:45:23.978779
- Title: Challenges in explaining deep learning models for data with biological variation
- Title（参考訳）: 生物学的変動を伴うデータの深層学習モデル構築における課題
- Authors: Lenka Tětková, Erik Schou Dreier, Robin Malm, Lars Kai Hansen,
- Abstract要約: 機械学習の研究の進歩は、モデルを開発し、それらをベンチマークデータセットで評価することに基づいている。
このようなベンチマークに精通したメソッドを実世界のデータに適用することは、期待通りには機能しないことが多い。
本研究は穀物データを用いて,疾患や損傷を検出することを目的としている。
- 参考スコア（独自算出の注目度）: 1.2699529713351287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Much machine learning research progress is based on developing models and evaluating them on a benchmark dataset (e.g., ImageNet for images). However, applying such benchmark-successful methods to real-world data often does not work as expected. This is particularly the case for biological data where we expect variability at multiple time and spatial scales. In this work, we are using grain data and the goal is to detect diseases and damages. Pink fusarium, skinned grains, and other diseases and damages are key factors in setting the price of grains or excluding dangerous grains from food production. Apart from challenges stemming from differences of the data from the standard toy datasets, we also present challenges that need to be overcome when explaining deep learning models. For example, explainability methods have many hyperparameters that can give different results, and the ones published in the papers do not work on dissimilar images. Other challenges are more general: problems with visualization of the explanations and their comparison since the magnitudes of their values differ from method to method. An open fundamental question also is: How to evaluate explanations? It is a non-trivial task because the "ground truth" is usually missing or ill-defined. Also, human annotators may create what they think is an explanation of the task at hand, yet the machine learning model might solve it in a different and perhaps counter-intuitive way. We discuss several of these challenges and evaluate various post-hoc explainability methods on grain data. We focus on robustness, quality of explanations, and similarity to particular "ground truth" annotations made by experts. The goal is to find the methods that overall perform well and could be used in this challenging task. We hope the proposed pipeline will be used as a framework for evaluating explainability methods in specific use cases.
- Abstract（参考訳）: 多くの機械学習研究の進展は、モデルを開発し、それらをベンチマークデータセット(画像のImageNetなど)で評価することに基づいている。
しかし,このようなベンチマークを実世界のデータに適用しても,期待通りには動作しないことが多い。
これは、複数の時間と空間スケールでの変動を期待する生物学的データに特に当てはまる。
本研究は穀物データを用いて,疾患や損傷を検出することを目的としている。
ピンクフッ化物、皮を剥いた穀物、その他の病気や損傷は、穀物の価格を設定したり、食品生産から危険な穀物を除外する上で重要な要素である。
標準のおもちゃデータセットからのデータの違いから生じる課題とは別に、ディープラーニングモデルを説明する際に克服すべき課題も提示する。
例えば、説明可能性法は多くのハイパーパラメータを持ち、異なる結果を与えることができる。
それらの値の大きさがメソッドからメソッドに異なるため、説明とそれらの比較を視覚化する問題。
説明を評価するにはどうすればいいのか?
なぜなら、"地上の真実"は通常欠落しているか、定義されていないためである。
また、人間のアノテータは、手元にあるタスクの説明であると考えるものを作成するかもしれませんが、機械学習モデルは、異なる、おそらくは直感に反する方法でそれを解決するかもしれません。
これらの課題のいくつかを議論し、穀物データに対する様々なポストホックな説明可能性手法を評価する。
我々は、専門家が作成した特定の「地上の真実」アノテーションと、堅牢性、説明の質、類似性に焦点を当てる。
目標は、全体的なパフォーマンスが良く、この困難なタスクで使用できるメソッドを見つけることです。
提案されたパイプラインが、特定のユースケースにおける説明可能性メソッドを評価するフレームワークとして使用されることを期待しています。
関連論文リスト
- Counterfactual Generation with Identifiability Guarantees [41.894343061841084]
我々は,MATTE (doMain AdapTive counTerfactual gEneration model) を開発した。
本研究は, 対物生成タスクに係わるコンテンツとスタイル変数の領域依存性に対処する。
本フレームワークは,教師なし型転送タスクにおける最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-02-23T13:24:19Z) - Understanding Text Classification Data and Models Using Aggregated Input
Salience [2.105564340986074]
場合によっては、入力の最も重要な部分を強調する入力サリエンス法が問題となる可能性がある。
本稿では,これらの課題に対処し,単一例の理解からデータセットやモデル全体の理解へと進むことを目的とする。
この方法論を用いることで、複数の異なるが一般的なモデル開発者のニーズに対処し、問題のあるデータとモデルの振る舞いをいかに特定できるかを示す。
論文 参考訳（メタデータ） (2022-11-10T11:00:57Z) - Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。
実装のさまざまな方法を示し、さまざまな問題について評価する。
論文 参考訳（メタデータ） (2022-10-04T07:21:49Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳（メタデータ） (2021-06-01T20:36:48Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。
実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
論文 参考訳（メタデータ） (2021-01-16T23:45:02Z) - Dependency Decomposition and a Reject Option for Explainable Models [4.94950858749529]
近年のディープラーニングモデルは様々な推論タスクにおいて非常によく機能する。
最近の進歩は特徴を視覚化し、入力の属性を記述する方法を提供します。
本稿では, 目的の画像分類出力に対する確率分布に関する依存性を初めて解析する。
論文 参考訳（メタデータ） (2020-12-11T17:39:33Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳（メタデータ） (2020-09-11T16:35:53Z) - Meta Learning for Causal Direction [29.00522306460408]
小型データ設定における原因と効果の区別を可能にする新しい生成モデルを提案する。
提案手法は, 各種合成データと実世界のデータを用いて実証し, 種々のデータセットサイズにおける方向検出の精度を高い精度で維持可能であることを示す。
論文 参考訳（メタデータ） (2020-07-06T15:12:05Z) - An analysis on the use of autoencoders for representation learning:
fundamentals, learning task case studies, explainability and challenges [11.329636084818778]
多くの機械学習タスクでは、データの優れた表現を学ぶことが、優れたパフォーマンスのソリューションを構築するための鍵となる。
可視化のためのデータ埋め込み,画像認識,セマンティックハッシュ,異常行動の検出,インスタンス生成など,一連の学習課題を提示する。
オートエンコーダを唯一の学習方法として用いた各タスクに対して,解を提案する。
論文 参考訳（メタデータ） (2020-05-21T08:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。