論文の概要: Towards Understanding Sensitive and Decisive Patterns in Explainable AI: A Case Study of Model Interpretation in Geometric Deep Learning
- arxiv url: http://arxiv.org/abs/2407.00849v1
- Date: Sun, 30 Jun 2024 22:59:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 01:17:19.412853
- Title: Towards Understanding Sensitive and Decisive Patterns in Explainable AI: A Case Study of Model Interpretation in Geometric Deep Learning
- Title（参考訳）: 説明可能なAIにおける知覚的パターンと決定的パターンの理解に向けて:幾何学的深層学習におけるモデル解釈を事例として
- Authors: Jiajun Zhu, Siqi Miao, Rex Ying, Pan Li,
- Abstract要約: 本研究は,2つの重要なデータパターン -- センシティブなパターン(モデル関連)と決定的なパターン(タスク関連)の区別に焦点を当てる。
本稿では,ポストホック法と自己解釈法という2つの主要な解釈手法の有効性を比較した。
以上の結果から, 自己解釈可能な手法は, 決定的パターンの検出において, 強い, 安定した性能を示すのに対し, ポストホック法は, 感度の高いパターンとよりよく一致した解釈を提供する傾向があることが示唆された。
- 参考スコア（独自算出の注目度）: 18.408342615833185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The interpretability of machine learning models has gained increasing attention, particularly in scientific domains where high precision and accountability are crucial. This research focuses on distinguishing between two critical data patterns -- sensitive patterns (model-related) and decisive patterns (task-related) -- which are commonly used as model interpretations but often lead to confusion. Specifically, this study compares the effectiveness of two main streams of interpretation methods: post-hoc methods and self-interpretable methods, in detecting these patterns. Recently, geometric deep learning (GDL) has shown superior predictive performance in various scientific applications, creating an urgent need for principled interpretation methods. Therefore, we conduct our study using several representative GDL applications as case studies. We evaluate thirteen interpretation methods applied to three major GDL backbone models, using four scientific datasets to assess how well these methods identify sensitive and decisive patterns. Our findings indicate that post-hoc methods tend to provide interpretations better aligned with sensitive patterns, whereas certain self-interpretable methods exhibit strong and stable performance in detecting decisive patterns. Additionally, our study offers valuable insights into improving the reliability of these interpretation methods. For example, ensembling post-hoc interpretations from multiple models trained on the same task can effectively uncover the task's decisive patterns.
- Abstract（参考訳）: 機械学習モデルの解釈可能性は、特に高精度と説明責任が不可欠である科学領域において、注目を集めている。
本研究は、モデル解釈として一般的に使用されるが、しばしば混乱を招く2つの重要なデータパターン、センシティブなパターン(モデル関連)と決定的なパターン(タスク関連)の区別に焦点を当てる。
具体的には,これらのパターンの検出において,ポストホック法と自己解釈法という2つの主要な解釈手法の有効性を比較した。
近年、幾何学的深層学習(GDL)は様々な科学的応用において優れた予測性能を示しており、原理的解釈法を緊急に必要としている。
そこで本研究では,いくつかの代表的GDLアプリケーションをケーススタディとして実施する。
3つの主要なGDLバックボーンモデルに適用した13の解釈手法を4つの科学的データセットを用いて評価した。
以上の結果から, 自己解釈可能な手法は, 決定的パターンの検出において, 強い, 安定した性能を示すのに対し, ポストホック法は, 感度の高いパターンとよりよく一致した解釈を提供する傾向があることが示唆された。
さらに,本研究では,これらの解釈手法の信頼性向上に関する貴重な知見を提供する。
例えば、同じタスクでトレーニングされた複数のモデルからのポストホック解釈をアンサンブルすることで、タスクの決定的なパターンを効果的に発見することができる。
関連論文リスト
- CausalGym: Benchmarking causal interpretability methods on linguistic
tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。
ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。
DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文 参考訳（メタデータ） (2024-02-19T21:35:56Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳（メタデータ） (2024-02-09T07:18:06Z) - A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - On the Need of a Modeling Language for Distribution Shifts: Illustrations on Tabular Datasets [30.518020409197767]
5つのデータセットと6万のメソッド構成にまたがる自然なシフトを含む実験的なテストベッドを構築します。
ML文献のX$(co)シフトに重きを置いているのとは対照的に、Y|X$-shiftsはテストベッドでもっとも一般的です。
論文 参考訳（メタデータ） (2023-07-11T14:25:10Z) - Benchmarking the Robustness of LiDAR Semantic Segmentation Models [78.6597530416523]
本稿では,LiDARセマンティックセグメンテーションモデルのロバスト性を,様々な汚職の下で包括的に解析することを目的とする。
本稿では,悪天候,計測ノイズ,デバイス間不一致という3つのグループで16のドメイン外LiDAR破損を特徴とするSemanticKITTI-Cというベンチマークを提案する。
我々は、単純だが効果的な修正によってロバスト性を大幅に向上させるロバストLiDARセグメンテーションモデル(RLSeg)を設計する。
論文 参考訳（メタデータ） (2023-01-03T06:47:31Z) - TorchEsegeta: Framework for Interpretability and Explainability of
Image-based Deep Learning Models [0.0]
臨床医はしばしば自動画像処理アプローチ、特にディープラーニングに基づく手法の適用に懐疑的である。
本稿では,アルゴリズムの決定に最も影響を及ぼす解剖学的領域を記述することによって,ディープラーニングアルゴリズムの結果の解釈と説明を支援するアプローチを提案する。
ディープラーニングモデルに様々な解釈可能性および説明可能性技術を適用するための統合フレームワークであるTorchEsegetaを提案する。
論文 参考訳（メタデータ） (2021-10-16T01:00:15Z) - Influence Tuning: Demoting Spurious Correlations via Instance
Attribution and Instance-Driven Updates [26.527311287924995]
インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
論文 参考訳（メタデータ） (2021-10-07T06:59:46Z) - On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。
どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
論文 参考訳（メタデータ） (2021-06-08T18:31:02Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z) - Model-agnostic interpretation by visualization of feature perturbations [0.0]
粒子群最適化アルゴリズムによって誘導される特徴の摂動を可視化し,モデルに依存しない解釈手法を提案する。
我々は,公開データセットに対して質的かつ定量的にアプローチを検証する。
論文 参考訳（メタデータ） (2021-01-26T00:53:29Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。