論文の概要: Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation

• arxiv url: http://arxiv.org/abs/2408.03915v1
• Date: Wed, 7 Aug 2024 17:20:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 17:30:30.198267
• Title: Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation
• Title（参考訳）: 説明の難しさ:分布内モデル解釈の計算困難性について
• Authors: Guy Amir, Shahaf Bassan, Guy Katz,
• Abstract要約: 機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。 近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
• 参考スコア（独自算出の注目度）: 0.9558392439655016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to interpret Machine Learning (ML) models is becoming increasingly essential. However, despite significant progress in the field, there remains a lack of rigorous characterization regarding the innate interpretability of different models. In an attempt to bridge this gap, recent work has demonstrated that it is possible to formally assess interpretability by studying the computational complexity of explaining the decisions of various models. In this setting, if explanations for a particular model can be obtained efficiently, the model is considered interpretable (since it can be explained ``easily''). However, if generating explanations over an ML model is computationally intractable, it is considered uninterpretable. Prior research identified two key factors that influence the complexity of interpreting an ML model: (i) the type of the model (e.g., neural networks, decision trees, etc.); and (ii) the form of explanation (e.g., contrastive explanations, Shapley values, etc.). In this work, we claim that a third, important factor must also be considered for this analysis -- the underlying distribution over which the explanation is obtained. Considering the underlying distribution is key in avoiding explanations that are socially misaligned, i.e., convey information that is biased and unhelpful to users. We demonstrate the significant influence of the underlying distribution on the resulting overall interpretation complexity, in two settings: (i) prediction models paired with an external out-of-distribution (OOD) detector; and (ii) prediction models designed to inherently generate socially aligned explanations. Our findings prove that the expressiveness of the distribution can significantly influence the overall complexity of interpretation, and identify essential prerequisites that a model must possess to generate socially aligned explanations.
• Abstract（参考訳）: 機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。 しかし、この分野に大きな進歩があったにもかかわらず、異なるモデルの自然解釈可能性に関する厳密な特徴が残っていない。 このギャップを埋める試みとして、近年の研究では、様々なモデルの決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価できることが示されている。 この設定では、ある特定のモデルの説明を効率的に得ることができれば、そのモデルは解釈可能であると見なされる(なぜならそれは `easily'' と説明できるから)。 しかし、MLモデル上の説明を生成することは、計算的に難解であるならば、それは解釈不能であると考えられる。 以前の研究では、MLモデルの解釈の複雑さに影響を与える2つの重要な要因が特定された。 一 モデルの種類(例えば、ニューラルネットワーク、決定木等)及び (二 説明の形式(例、対照的な説明、共有値等) この研究において、この分析には第3の重要な要素も考慮する必要がある、と我々は主張する。 基礎となる分布を考えることは、社会的に不一致な説明を避ける上で鍵となる。 以下の2つの設定で、基礎となる分布が結果として生じる全体的な解釈の複雑さに有意な影響を実証する。 一 外部物流検知器(OOD)と組み合わせた予測モデル及び (II)社会的に整合した説明を本質的に生成するために設計された予測モデル。 この結果から, 分布の表現性は解釈の全体的な複雑さに大きく影響し, モデルが社会的に整合した説明を生成するためには, 必要不可欠な前提条件を特定することが示唆された。

関連論文リスト

• Counterfactual explainability of black-box prediction models [4.14360329494344]
  ブラックボックス予測モデルに対する対実的説明可能性という新しい概念を提案する。 対物的説明可能性には3つの大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-03T16:29:09Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Explaining Causal Models with Argumentation: the Case of Bi-variate Reinforcement [15.947501347927687]
  因果モデルから議論フレームワーク(AF)を生成するための概念化を導入する。 この概念化は、AFの意味論の望ましい性質を説明型として再解釈することに基づいている。 我々はこれらの論証的説明の理論的評価を行い、それらが望ましい説明的および論証的特性の範囲を満たすかどうかを検討する。
  論文  参考訳（メタデータ） (2022-05-23T19:39:51Z)
• ExSum: From Local Explanations to Model Understanding [6.23934576145261]
  ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。 この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。 本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
  論文  参考訳（メタデータ） (2022-04-30T02:07:20Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
  我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。 本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
  論文  参考訳（メタデータ） (2022-01-21T18:05:00Z)
• Do not explain without context: addressing the blind spot of model explanations [2.280298858971133]
  本稿では,機械学習モデルの監視と監査においてしばしば見落とされがちな盲点について述べる。 モデル説明の多くは参照データ分布の選択に直接的または間接的に依存する。 分布の小さな変化が、傾向の変化や、注意深い結論などの説明に劇的な変化をもたらす例を示す。
  論文  参考訳（メタデータ） (2021-05-28T12:48:40Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。