論文の概要: Automated Natural Language Explanation of Deep Visual Neurons with Large
Models
- arxiv url: http://arxiv.org/abs/2310.10708v1
- Date: Mon, 16 Oct 2023 17:04:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 19:38:25.730470
- Title: Automated Natural Language Explanation of Deep Visual Neurons with Large
Models
- Title(参考訳): 大規模モデルを用いた深部視覚ニューロンの自然言語自動記述
- Authors: Chenxu Zhao, Wei Qian, Yucheng Shi, Mengdi Huai, Ninghao Liu
- Abstract要約: 本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
- 参考スコア(独自算出の注目度): 43.178568768100305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have exhibited remarkable performance across a wide
range of real-world tasks. However, comprehending the underlying reasons for
their effectiveness remains a challenging problem. Interpreting deep neural
networks through examining neurons offers distinct advantages when it comes to
exploring the inner workings of neural networks. Previous research has
indicated that specific neurons within deep vision networks possess semantic
meaning and play pivotal roles in model performance. Nonetheless, the current
methods for generating neuron semantics heavily rely on human intervention,
which hampers their scalability and applicability. To address this limitation,
this paper proposes a novel post-hoc framework for generating semantic
explanations of neurons with large foundation models, without requiring human
intervention or prior knowledge. Our framework is designed to be compatible
with various model architectures and datasets, facilitating automated and
scalable neuron interpretation. Experiments are conducted with both qualitative
and quantitative analysis to verify the effectiveness of our proposed approach.
- Abstract(参考訳): ディープニューラルネットワークは、さまざまな現実世界のタスクで顕著なパフォーマンスを示している。
しかし、その効果の根底にある理由を理解することは難しい問題である。
ディープニューラルネットワークをニューロンを調べることで解釈することは、ニューラルネットワークの内部動作を探索する上で、異なる利点をもたらす。
これまでの研究では、ディープビジョンネットワーク内の特定のニューロンは意味的意味を持ち、モデルのパフォーマンスにおいて重要な役割を果たすことが示されている。
それでも、現在のニューロンのセマンティクスを生成する方法は、人間の介入に大きく依存している。
この制限に対処するため,本稿では,人間の介入や事前知識を必要とせず,大きな基礎モデルを持つニューロンの意味的説明を生成する新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセットと互換性があり、自動化されたスケーラブルなニューロン解釈を容易にするように設計されています。
提案手法の有効性を検証するため,質的および定量的分析を行い実験を行った。
関連論文リスト
- Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-17T17:41:28Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳(メタデータ) (2023-10-15T21:07:09Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Neuron-level Interpretation of Deep NLP Models: A Survey [22.035813865470956]
ディープニューラルネットワークモデルのコンポーネントを分析し、理解するために、数多くの研究がなされている。
最近の研究は、より粒度の細かいレベルでの解釈可能性に集中し、大きなモデルでニューロンとニューロンのグループを分析している。
論文 参考訳(メタデータ) (2021-08-30T11:54:21Z) - On Interpretability of Artificial Neural Networks: A Survey [21.905647127437685]
我々は、ニューラルネットワークのメカニズムを理解するための最近の研究を体系的にレビューし、特に医学における解釈可能性の応用について述べる。
本稿では,ファジィ論理や脳科学などの解釈可能性研究の今後の方向性について論じる。
論文 参考訳(メタデータ) (2020-01-08T13:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。