論文の概要: LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions

• arxiv url: http://arxiv.org/abs/2406.08572v1
• Date: Wed, 12 Jun 2024 18:19:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 22:27:16.682401
• Title: LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions
• Title（参考訳）: LLM支援概念発見 : ニューロン機能の自動同定と説明
• Authors: Nhat Hoang-Xuan, Minh Vu, My T. Thai,
• Abstract要約: 以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。 本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
• 参考スコア（独自算出の注目度）: 15.381209058506078
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Providing textual concept-based explanations for neurons in deep neural networks (DNNs) is of importance in understanding how a DNN model works. Prior works have associated concepts with neurons based on examples of concepts or a pre-defined set of concepts, thus limiting possible explanations to what the user expects, especially in discovering new concepts. Furthermore, defining the set of concepts requires manual work from the user, either by directly specifying them or collecting examples. To overcome these, we propose to leverage multimodal large language models for automatic and open-ended concept discovery. We show that, without a restricted set of pre-defined concepts, our method gives rise to novel interpretable concepts that are more faithful to the model's behavior. To quantify this, we validate each concept by generating examples and counterexamples and evaluating the neuron's response on this new set of images. Collectively, our method can discover concepts and simultaneously validate them, providing a credible automated tool to explain deep neural networks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)におけるニューロンのテキスト概念に基づく説明を提供することは、DNNモデルがどのように機能するかを理解する上で重要である。 以前の研究は、概念の例や事前に定義された概念のセットに基づいてニューロンに関連づけられた概念を持ち、特に新しい概念の発見において、ユーザーが何を期待しているかを説明することができる。 さらに、概念のセットを定義するには、直接指定するか、サンプルを収集することで、ユーザからの手作業が必要になる。 これらを克服するために,我々はマルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,事前定義された概念の限定的なセットがなければ,モデルの振る舞いに忠実な新しい解釈可能な概念が生まれることを示した。 これを定量的に評価するために、この新たな画像に対して、サンプルと反例を生成し、ニューロンの応答を評価することにより、各概念を検証した。 提案手法は,概念を発見し,同時に検証し,深層ニューラルネットワークを説明するための信頼性の高い自動化ツールを提供する。

関連論文リスト

• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• A survey on Concept-based Approaches For Model Improvement [2.1516043775965565]
  概念は人間の思考基盤として知られている。 ディープニューラルネットワーク(DNN)における様々な概念表現とその発見アルゴリズムの体系的レビューと分類について述べる。 また,これらの手法を総合的に調査した最初の論文として,概念に基づくモデル改善文献について詳述する。
  論文  参考訳（メタデータ） (2024-03-21T17:09:20Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• OC-NMN: Object-centric Compositional Neural Module Network for Generative Visual Analogical Reasoning [49.12350554270196]
  モジュラリティがいかにして、想像にインスパイアされた構成データ拡張フレームワークを導出できるかを示す。 本手法は, オブジェクト中心合成ニューラルネットワーク (OC-NMN) を用いて, 視覚生成推論タスクを, ドメイン固有言語を使わずに, オブジェクトに適用した一連のプリミティブに分解する。
  論文  参考訳（メタデータ） (2023-10-28T20:12:58Z)
• Concept backpropagation: An Explainable AI approach for visualising learned concepts in neural network models [0.0]
  本稿では,ある概念を表す情報が与えられたニューラルネットワークモデルにどのように内在化されているかを分析する方法として,Emphconcept backpropagationという概念検出手法の拡張を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:21:13Z)
• Formal Conceptual Views in Neural Networks [0.0]
  本稿では,ニューラルネットワークの概念的視点,特に多値・記号的視点の2つの概念を紹介する。 我々は、ImageNetとFruit-360データセットの異なる実験を通して、新しいビューの概念的表現性をテストする。 本研究では,ニューロンからの人間の理解可能なルールの帰納的学習に概念的視点が適用可能であることを実証する。
  論文  参考訳（メタデータ） (2022-09-27T16:38:24Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Cause and Effect: Concept-based Explanation of Neural Networks [3.883460584034766]
  ニューロンの内部表現や概念に対するニューロンの活性化を調べることで、ニューラルネットワークの解釈可能性の一歩を踏み出します。 概念(またはその否定)とタスククラスの間の因果関係の存在を確認するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-14T18:54:17Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。