論文の概要: UFO: A unified method for controlling Understandability and Faithfulness Objectives in concept-based explanations for CNNs

• arxiv url: http://arxiv.org/abs/2303.15632v1
• Date: Mon, 27 Mar 2023 23:08:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 17:10:16.798257
• Title: UFO: A unified method for controlling Understandability and Faithfulness Objectives in concept-based explanations for CNNs
• Title（参考訳）: UFO:CNNにおける概念に基づく説明における理解可能性と信仰目的の統一的制御法
• Authors: Vikram V. Ramaswamy, Sunnie S. Y. Kim, Ruth Fong, Olga Russakovsky
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の概念に基づく説明は、事前に定義されたセマンティック概念のセットを使用して、モデルの振る舞いと出力を説明することを目的としている。 彼らはしばしば、モデルの振る舞いを忠実に(正確に)特徴づけておらず、人々が理解するには複雑すぎる。 本研究では,概念に基づく説明において,理解可能性と忠実度を統一的に制御するUFOを提案する。
• 参考スコア（独自算出の注目度）: 25.545486537295144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept-based explanations for convolutional neural networks (CNNs) aim to explain model behavior and outputs using a pre-defined set of semantic concepts (e.g., the model recognizes scene class ``bedroom'' based on the presence of concepts ``bed'' and ``pillow''). However, they often do not faithfully (i.e., accurately) characterize the model's behavior and can be too complex for people to understand. Further, little is known about how faithful and understandable different explanation methods are, and how to control these two properties. In this work, we propose UFO, a unified method for controlling Understandability and Faithfulness Objectives in concept-based explanations. UFO formalizes understandability and faithfulness as mathematical objectives and unifies most existing concept-based explanations methods for CNNs. Using UFO, we systematically investigate how explanations change as we turn the knobs of faithfulness and understandability. Our experiments demonstrate a faithfulness-vs-understandability tradeoff: increasing understandability reduces faithfulness. We also provide insights into the ``disagreement problem'' in explainable machine learning, by analyzing when and how concept-based explanations disagree with each other.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の概念に基づく説明は、事前に定義されたセマンティック概念のセットを用いてモデル行動と出力を説明することを目的としている(例えば、モデルは、"`bed''' と '`pillow''' の概念の存在に基づいて、シーンクラス ``bedroom'' を認識する)。 しかし、それらはしばしば、モデルの振る舞いを忠実に(正確に)特徴づけておらず、人々が理解するには複雑すぎる。 さらに、異なる説明法がいかに忠実で理解可能であるか、そしてこれらの2つの特性を制御する方法についてはほとんど分かっていない。 本研究では,概念に基づく説明において,理解可能性と信頼度を統一的に制御するUFOを提案する。 UFOは数学的目的として理解性と忠実性を定式化し、CNNの既存の概念に基づく説明手法を統一する。 UFOを用いて、信頼と理解性のノブを回すと、説明がどのように変化するかを体系的に検討する。 我々の実験は、信頼-vs-理解可能性のトレードオフを実証している。 また、概念に基づく説明が相互に矛盾する時期と状況を分析することによって、説明可能な機械学習における「相違問題」についての洞察も提供する。

関連論文リスト

• LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions [15.381209058506078]
  以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。 本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
  論文  参考訳（メタデータ） (2024-06-12T18:19:37Z)
• Interpretability Needs a New Paradigm [49.134097841837715]
  解釈可能性(英: Interpretability)とは、人間に理解可能な言葉でモデルを説明する研究である。 この議論の核心は、それぞれのパラダイムがその説明が忠実である、すなわちモデルの振舞いに忠実であることをいかに保証するかである。 この論文の立場は、信仰を警戒しながら新しいパラダイムを考えるべきだというものである。
  論文  参考訳（メタデータ） (2024-05-08T19:31:06Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)
• Concept Activation Regions: A Generalized Framework For Concept-Based Explanations [95.94432031144716]
  既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。 そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。 この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
  論文  参考訳（メタデータ） (2022-09-22T17:59:03Z)
• Static and Dynamic Concepts for Self-supervised Video Representation Learning [70.15341866794303]
  本稿では,自己教師付きビデオ表現学習のための新しい学習手法を提案する。 人間がビデオを理解する方法に触発され、まず一般的な視覚概念を学習し、ビデオ理解のための識別的地域への参加を提案する。
  論文  参考訳（メタデータ） (2022-07-26T10:28:44Z)
• Overlooked factors in concept-based explanations: Dataset choice, concept learnability, and human capability [25.545486537295144]
  概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。 その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。 概念に基づく説明において、よく見過ごされる3つの要因を分析した。
  論文  参考訳（メタデータ） (2022-07-20T01:59:39Z)
• When are Post-hoc Conceptual Explanations Identifiable? [18.85180188353977]
  人間の概念ラベルが利用できない場合、概念発見手法は解釈可能な概念のための訓練された埋め込み空間を探索する。 我々は、概念発見は特定可能であり、多くの既知の概念を確実に回収し、説明の信頼性を保証するべきであると論じている。 本結果は,人間ラベルのない信頼性の高い概念発見を保証できる厳密な条件を強調した。
  論文  参考訳（メタデータ） (2022-06-28T10:21:17Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Diagnosing AI Explanation Methods with Folk Concepts of Behavior [70.10183435379162]
  我々は「成功」は、その説明がどんな情報を含むかだけでなく、人間の説明者がどのような情報から理解するかにも依存すると考えている。 我々は、人間の説明による社会的帰属の枠組みとして、行動の民意的概念を用いる。
  論文  参考訳（メタデータ） (2022-01-27T00:19:41Z)
• Explainability Is in the Mind of the Beholder: Establishing the Foundations of Explainable Artificial Intelligence [11.472707084860875]
  我々は、背景知識に基づいて解釈された透明な洞察(ブラックボックス)に適用する(論理的)推論として説明可能性を定義する。 我々は、透明性と予測力のトレードオフを再考し、アンテホックやポストホックの解説者への影響について述べる。 我々は、人間中心の説明可能性からさまざまなアイデアに基づいて、解釈可能性を必要とするかもしれない機械学習ワークフローのコンポーネントについて論じる。
  論文  参考訳（メタデータ） (2021-12-29T09:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。