論文の概要: The Missing Curve Detectors of InceptionV1: Applying Sparse Autoencoders to InceptionV1 Early Vision

• arxiv url: http://arxiv.org/abs/2406.03662v2
• Date: Sat, 20 Jul 2024 21:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 01:11:44.592174
• Title: The Missing Curve Detectors of InceptionV1: Applying Sparse Autoencoders to InceptionV1 Early Vision
• Title（参考訳）: インセプションV1の欠損曲線検出器:インセプションV1早期ビジョンへのスパースオートエンコーダの適用
• Authors: Liv Gorton,
• Abstract要約: スパースオートエンコーダ(SAE)に関する最近の研究は、ニューラルネットワークから解釈可能な特徴を抽出する上で有望であることを示している。 本稿では、よく研究された畳み込みニューラルネットワークであるInceptionV1の初期の視覚層にSAEを適用する。 以上の結果から,SAEは個々のニューロンから明らかでない新しい解釈可能な特徴を発見できることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on sparse autoencoders (SAEs) has shown promise in extracting interpretable features from neural networks and addressing challenges with polysemantic neurons caused by superposition. In this paper, we apply SAEs to the early vision layers of InceptionV1, a well-studied convolutional neural network, with a focus on curve detectors. Our results demonstrate that SAEs can uncover new interpretable features not apparent from examining individual neurons, including additional curve detectors that fill in previous gaps. We also find that SAEs can decompose some polysemantic neurons into more monosemantic constituent features. These findings suggest SAEs are a valuable tool for understanding InceptionV1, and convolutional neural networks more generally.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)に関する最近の研究は、ニューラルネットワークから解釈可能な特徴を抽出し、重ね合わせによって引き起こされる多節性ニューロンの課題に対処することを約束している。 本稿では、よく研究された畳み込みニューラルネットワークであるInceptionV1の初期の視覚層にSAEを適用し、曲線検出器に焦点をあてる。 以上の結果から、SAEは個々のニューロンから明らかでない新しい解釈可能な特徴を発見できることが示された。 また、SAEはいくつかの多節性ニューロンをより単節性成分に分解することができる。 これらの結果は、SAEはインセプションV1や畳み込みニューラルネットワークをより一般的に理解するための貴重なツールであることを示している。

関連論文リスト

• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Efficient Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders [2.255961793913651]
  スパイクニューラルネットワークに関連する学習問題について検討する。 アフィン時間エンコーダとデコーダと正のシナプス重みしか持たない単純なスパイキングニューロンによるスパイキングニューラルネットワークの仮説セットを考察する。
  論文  参考訳（メタデータ） (2024-04-06T08:17:07Z)
• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• The Compact Support Neural Network [6.47243430672461]
  本研究では, 標準ドット生成物に基づくニューロンとRBFニューロンを, 形状パラメータの2つの極端な場合として提示する。 トレーニングされた標準ニューラルネットワークから始めて、必要な値まで形状パラメータを徐々に増加させることで、そのようなニューロンによるニューラルネットワークのトレーニングの難しさを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-04-01T06:08:09Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Examining the Benefits of Capsule Neural Networks [9.658250977094562]
  カプセルネットワーク(Capsule Network)は、従来の畳み込みニューラルネットワークの欠点に対処する可能性のある、新たに開発されたニューラルネットワークのクラスである。 標準的なスカラーアクティベーションをベクトルに置き換えることで、カプセルネットワークはコンピュータビジョンアプリケーションのための次の大きな開発を目指している。
  論文  参考訳（メタデータ） (2020-01-29T17:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。