論文の概要: Identifying and interpreting tuning dimensions in deep networks

• arxiv url: http://arxiv.org/abs/2011.03043v2
• Date: Tue, 8 Dec 2020 00:01:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-09-29 11:11:53.776205
• Title: Identifying and interpreting tuning dimensions in deep networks
• Title（参考訳）: ディープネットワークにおけるチューニング次元の同定と解釈
• Authors: Nolan S. Dey and J. Eric Taylor and Bryan P. Tripp and Alexander Wong and Graham W. Taylor
• Abstract要約: チューニングディメンションは、ニューロン群の活性化分散の大部分を占める刺激特性である。 この研究は、ディープ・ネットワークにおける「チューニング・ディメンション」を特定し解釈するための教師なしのフレームワークに貢献している。
• 参考スコア（独自算出の注目度）: 83.59965686504822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In neuroscience, a tuning dimension is a stimulus attribute that accounts for much of the activation variance of a group of neurons. These are commonly used to decipher the responses of such groups. While researchers have attempted to manually identify an analogue to these tuning dimensions in deep neural networks, we are unaware of an automatic way to discover them. This work contributes an unsupervised framework for identifying and interpreting "tuning dimensions" in deep networks. Our method correctly identifies the tuning dimensions of a synthetic Gabor filter bank and tuning dimensions of the first two layers of InceptionV1 trained on ImageNet.
• Abstract（参考訳）: チューニングディメンション(英: tune dimension)は、神経科学において、ニューロン群の活性化分散の大部分を占める刺激特性である。 これらは一般にそのような群の反応を解読するために用いられる。 研究者たちは、ディープニューラルネットワークでこれらのチューニングディメンションの類似物を手作業で特定しようと試みているが、それらを発見する自動的な方法には気づいていない。 この研究は、ディープネットワークにおける"チューニング次元"を識別し、解釈するための教師なしフレームワークに寄与する。 提案手法は,合成ガボルフィルタバンクのチューニング次元と,ImageNetでトレーニングされたインセプションV1の最初の2層のチューニング次元を正確に同定する。

関連論文リスト

• From superposition to sparse codes: interpretable representations in neural networks [3.6738925004882685]
  最近の証拠は、ニューラルネットワークが重畳の特徴を符号化していることを示唆している。 本稿では、この現象を説明する視点を示し、ニューラルアクティベーションから解釈可能な表現を抽出するための基盤を提供する。 我々の議論は、ニューラルコーディング理論、AI透明性、ディープラーニングモデルをより解釈可能なものにするというより広い目標に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-03-03T18:49:59Z)
• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Exploring Geometry of Blind Spots in Vision Models [56.47644447201878]
  CNNやトランスフォーマーのような視覚モデルにおける過敏性の現象について検討する。 本稿では,入力空間に対する信頼度の高い領域を反復的に探索するレベルセットトラバースアルゴリズムを提案する。 モデルが高い信頼度を維持するこれらの連結高次元領域の範囲を推定する。
  論文  参考訳（メタデータ） (2023-10-30T18:00:33Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Deep learning neural network for approaching Schr\"odinger problems with arbitrary two-dimensional confinement [0.0]
  本稿では,ニューラルネットワークを用いた自動学習法に基づく2次元シュリンガー方程式へのアプローチを提案する。 これは、解の知識から多くの任意のサンプル問題まで、任意の2次元ポテンシャルに閉じ込められた粒子の基底状態を決定することを目的としている。
  論文  参考訳（メタデータ） (2023-04-03T19:48:33Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance [0.483420384410068]
  以前の研究は、主に個々のニューロンにとって重要であった。 本研究では,シナジスティックあるいは冗長な情報を含むニューロン群について検討する。 結果から,本手法はプルーニングや教師なし表現学習に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-01T12:21:15Z)
• Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm [6.228766191647919]
  我々はDeep Belief Network based Auto-Encoder (DBNA) を説明するアルゴリズムを開発した。 DBN内の各入力機能のコントリビューションを決定するために使用される。 この方法によって同定された重要な特徴は、ウォルドチ広場(chi2)で得られたものと比較される。
  論文  参考訳（メタデータ） (2022-07-18T10:44:02Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• On Tractable Representations of Binary Neural Networks [23.50970665150779]
  我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。 実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-05T03:21:26Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。