論文の概要: CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks

• arxiv url: http://arxiv.org/abs/2204.10965v5
• Date: Mon, 5 Jun 2023 17:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:21:19.406909
• Title: CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks
• Title（参考訳）: CLIP-Dissect:ディープビジョンネットワークにおけるニューロン表現の自動記述
• Authors: Tuomas Oikarinen, Tsui-Wei Weng
• Abstract要約: 視覚ネットワーク内の個々の隠れニューロンの機能を自動的に記述する新しい手法であるCLIP-Dissectを提案する。 CLIP-Dissectは、前層ニューロンの既存の方法よりも正確な記述を提供する。 CLIP-Dissectは計算効率が良く、ResNet-50の5層から全てのニューロンをわずか4分でラベル付けできる。
• 参考スコア（独自算出の注目度）: 7.8858544147141085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose CLIP-Dissect, a new technique to automatically describe the function of individual hidden neurons inside vision networks. CLIP-Dissect leverages recent advances in multimodal vision/language models to label internal neurons with open-ended concepts without the need for any labeled data or human examples. We show that CLIP-Dissect provides more accurate descriptions than existing methods for last layer neurons where the ground-truth is available as well as qualitatively good descriptions for hidden layer neurons. In addition, our method is very flexible: it is model agnostic, can easily handle new concepts and can be extended to take advantage of better multimodal models in the future. Finally CLIP-Dissect is computationally efficient and can label all neurons from five layers of ResNet-50 in just 4 minutes, which is more than 10 times faster than existing methods. Our code is available at https://github.com/Trustworthy-ML-Lab/CLIP-dissect. Finally, crowdsourced user study results are available at Appendix B to further support the effectiveness of our method.
• Abstract（参考訳）: 本稿では,視覚ネットワーク内の個々の隠れニューロンの機能を自動的に記述する新しい手法であるCLIP-Dissectを提案する。 CLIP-Dissectは、マルチモーダル視覚/言語モデルの最近の進歩を活用して、ラベル付きデータや人間の例を必要とせずに、内部ニューロンをオープンな概念でラベル付けする。 この結果から,CLIP-Dissectは最終層ニューロンに対する既存の方法よりも正確な記述と,隠れ層ニューロンに対する質的によい記述を提供することがわかった。 さらに,本手法は非常に柔軟であり,モデル非依存であり,新しい概念を容易に扱えるとともに,将来より優れたマルチモーダルモデルを活用するために拡張することができる。 最後にclip-dissectは計算効率が高く、resnet-50の5つの層からすべてのニューロンをわずか4分でラベル付けできる。 私たちのコードはhttps://github.com/Trustworthy-ML-Lab/CLIP-dissect.comで公開されています。 最後に,appendix bではクラウドソーシングによるユーザ調査の結果が得られ,提案手法の有効性をさらに支援する。

関連論文リスト

• Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
  大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。 LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:47:45Z)
• PURE: Turning Polysemantic Neurons Into Pure Features by Identifying Relevant Circuits [12.17671779091913]
  本稿では、複数の単意味「仮想」ニューロンにポリセマンティックニューロンを分解することで、あらゆるディープニューラルネットワークのポリセマンティック性を遠ざける方法を提案する。 私たちは、ImageNetでトレーニングされたResNetモデルの多意味ユニットを、どのように見つけ、切り離すことができるかを示します。
  論文  参考訳（メタデータ） (2024-04-09T16:54:19Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN [16.104055742259128]
  我々は2D CLIPと2つの特別設計モジュールからなるNeuroCLIPを開発した。 N-MNIST、CIFAR10-DVS、ES-ImageNetなどのニューロモルフィックデータセットに関する様々な実験は、NeuroCLIPの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-21T07:46:27Z)
• Noisy Heuristics NAS: A Network Morphism based Neural Architecture Search using Heuristics [11.726528038065764]
  本稿では,Nuisy Heuristics NASというネットワークモルフィズムに基づくNASを提案する。 新しいニューロンをランダムに追加し、最も適したニューロンのみを選択するために、いくつかのニューロンをプルーニングします。 本手法は,おもちゃのデータセットとMNIST, CIFAR-10, CIFAR-100などの実世界のデータセットの両方を一般化する。
  論文  参考訳（メタデータ） (2022-07-10T13:58:21Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Natural Language Descriptions of Deep Visual Features [50.270035018478666]
  オープンエンド,コンポジション,自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
  論文  参考訳（メタデータ） (2022-01-26T18:48:02Z)
• Explainability Tools Enabling Deep Learning in Future In-Situ Real-Time Planetary Explorations [58.720142291102135]
  ディープラーニング(DL)は、効果的な機械学習とコンピュータビジョン技術であることが証明されている。 ディープニューラルネットワーク(DNN)アーキテクチャのほとんどは複雑すぎて'ブラックボックス'と見なされている。 本稿では,各ニューロンの出力クラスへの属性を記述するために,積分勾配を用いた。 DNNのブラックボックスを開くための説明可能性ツールセット(ET)を提供するので、分類へのニューロンの個々の貢献をランク付けし視覚化することができる。
  論文  参考訳（メタデータ） (2022-01-15T07:10:00Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。