論文の概要: Detection Accuracy for Evaluating Compositional Explanations of Units

• arxiv url: http://arxiv.org/abs/2109.07804v1
• Date: Thu, 16 Sep 2021 08:47:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:10:31.927383
• Title: Detection Accuracy for Evaluating Compositional Explanations of Units
• Title（参考訳）: 単位の構成説明の評価のための検出精度
• Authors: Sayo M. Makinwa, Biagio La Rosa and Roberto Capobianco
• Abstract要約: このアプローチを使う方法の2つの例は、ネットワーク分割と構成的説明である。 直感的には、論理形式は原子概念よりも情報的であるが、この改善を定量化する方法は明らかではない。 提案手法は,各ユニットが割り当てた説明文の検出の一貫性を計測する検出精度の評価指標として用いる。
• 参考スコア（独自算出の注目度）: 5.220940151628734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent success of deep learning models in solving complex problems and in different domains has increased interest in understanding what they learn. Therefore, different approaches have been employed to explain these models, one of which uses human-understandable concepts as explanations. Two examples of methods that use this approach are Network Dissection and Compositional explanations. The former explains units using atomic concepts, while the latter makes explanations more expressive, replacing atomic concepts with logical forms. While intuitively, logical forms are more informative than atomic concepts, it is not clear how to quantify this improvement, and their evaluation is often based on the same metric that is optimized during the search-process and on the usage of hyper-parameters to be tuned. In this paper, we propose to use as evaluation metric the Detection Accuracy, which measures units' consistency of detection of their assigned explanations. We show that this metric (1) evaluates explanations of different lengths effectively, (2) can be used as a stopping criterion for the compositional explanation search, eliminating the explanation length hyper-parameter, and (3) exposes new specialized units whose length 1 explanations are the perceptual abstractions of their longer explanations.
• Abstract（参考訳）: 複雑な問題や異なる領域におけるディープラーニングモデルの最近の成功は、彼らが何を学んだかを理解することへの関心を高めている。 そのため、これらのモデルを説明するために様々なアプローチが採用されている。 このアプローチを使う方法の2つの例は、ネットワーク分割と構成的説明である。 前者は原子概念を用いた単位を説明し、後者はより表現力のある説明を行い、原子概念を論理形式に置き換える。 直感的には、論理形式は原子の概念よりも有益であるが、どのようにこの改善を定量化するかは定かではない。 本稿では,提案手法を用いて,各ユニットが割り当てた説明文の検出の一貫性を計測する検出精度の評価指標を提案する。 本稿では,(1) 長さの異なる説明を効果的に評価し,(2) は構成的説明探索の停止基準として使用でき,(3) 長さ1の説明が長い説明の知覚的抽象化であるような,新たな特殊単位を公開することを示す。

関連論文リスト

• Selective Explanations [14.312717332216073]
  機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。 その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。 そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:08:31Z)
• Explainability for Machine Learning Models: From Data Adaptability to User Perception [0.8702432681310401]
  この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。 データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
  論文  参考訳（メタデータ） (2024-02-16T18:44:37Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• The Solvability of Interpretability Evaluation Metrics [7.3709604810699085]
  特徴帰属法は、包括性や充足性などの指標でしばしば評価される。 本稿では,これらの指標の興味深い性質,すなわち可解性について述べる。 このビームサーチの説明器は、一般に現在の選択に匹敵するか、好適であることを示す一連の調査を提示する。
  論文  参考訳（メタデータ） (2022-05-18T02:52:03Z)
• ExSum: From Local Explanations to Model Understanding [6.23934576145261]
  ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。 この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。 本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
  論文  参考訳（メタデータ） (2022-04-30T02:07:20Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。