論文の概要: Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models

• arxiv url: http://arxiv.org/abs/2403.13771v1
• Date: Wed, 20 Mar 2024 17:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 15:58:55.811891
• Title: Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models
• Title（参考訳）: Describe-and-Dissect:言語モデルを用いた視覚ネットワークにおけるニューロンの解釈
• Authors: Nicholas Bai, Rahul A. Iyer, Tuomas Oikarinen, Tsui-Wei Weng,
• Abstract要約: Describe-and-Dissect(DnD)は、視覚ネットワークにおける隠されたニューロンの役割を記述する新しい方法である。 DnDは、ラベル付きトレーニングデータや事前定義された概念セットを必要としない複雑な自然言語記述を生成する。
• 参考スコア（独自算出の注目度）: 9.962488213825859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Describe-and-Dissect (DnD), a novel method to describe the roles of hidden neurons in vision networks. DnD utilizes recent advancements in multimodal deep learning to produce complex natural language descriptions, without the need for labeled training data or a predefined set of concepts to choose from. Additionally, DnD is training-free, meaning we don't train any new models and can easily leverage more capable general purpose models in the future. We have conducted extensive qualitative and quantitative analysis to show that DnD outperforms prior work by providing higher quality neuron descriptions. Specifically, our method on average provides the highest quality labels and is more than 2 times as likely to be selected as the best explanation for a neuron than the best baseline.
• Abstract（参考訳）: 本稿では,視覚ネットワークにおける隠れニューロンの役割を記述する新しい手法として,Describe-and-Dissect (DnD)を提案する。 DnDは、ラベル付きトレーニングデータや事前に定義された概念のセットを必要とせずに、マルチモーダル深層学習の最近の進歩を利用して複雑な自然言語記述を生成する。 さらに、DnDはトレーニングフリーなので、新しいモデルをトレーニングせず、将来もっと有能な汎用モデルを簡単に活用できます。 我々は、DnDがより高品質なニューロン記述を提供することで、先行研究より優れていることを示すために、広範囲な質的、定量的な分析を行った。 特に,本手法は,平均値よりも高い品質のラベルを提供し,ニューロンの最も良い説明法として選択される可能性が2倍以上である。

関連論文リスト

• Towards Generating Informative Textual Description for Neurons in Language Models [6.884227665279812]
  本稿では,ニューロンにテキスト記述を結び付けるフレームワークを提案する。 特に,提案手法が75%精度@2,50%リコール@2を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-30T04:06:25Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Investigating the Encoding of Words in BERT's Neurons using Feature Textualization [11.943486282441143]
  本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。 生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
  論文  参考訳（メタデータ） (2023-11-14T15:21:49Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• Evaluating Explanation Methods for Vision-and-Language Navigation [26.607847422870464]
  逐次決定設定における段階的テキスト説明を段階的に評価するための消去に基づく評価パイプラインを提案する。 2つの一般的なVLNデータセットに対する2つの代表的VLNモデルのいくつかの説明方法を評価する。
  論文  参考訳（メタデータ） (2023-10-10T14:22:56Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation [46.825957917649795]
  手話 (SL) は聴覚障害者の母語であり、ほとんどの人が理解できない特別な視覚言語である。 動的グラフに基づくマルチモーダル特徴融合を用いたニューラルSLTモデルを提案する。 我々はまず,マルチモーダル情報を融合したグラフニューラルネットワークをニューラルネットワーク翻訳モデルに導入した。
  論文  参考訳（メタデータ） (2022-11-01T15:26:22Z)
• Natural Language Descriptions of Deep Visual Features [50.270035018478666]
  オープンエンド,コンポジション,自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
  論文  参考訳（メタデータ） (2022-01-26T18:48:02Z)
• Explainability Tools Enabling Deep Learning in Future In-Situ Real-Time Planetary Explorations [58.720142291102135]
  ディープラーニング(DL)は、効果的な機械学習とコンピュータビジョン技術であることが証明されている。 ディープニューラルネットワーク(DNN)アーキテクチャのほとんどは複雑すぎて'ブラックボックス'と見なされている。 本稿では,各ニューロンの出力クラスへの属性を記述するために,積分勾配を用いた。 DNNのブラックボックスを開くための説明可能性ツールセット(ET)を提供するので、分類へのニューロンの個々の貢献をランク付けし視覚化することができる。
  論文  参考訳（メタデータ） (2022-01-15T07:10:00Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。