Fugu-MT 論文翻訳(概要): On-Off Pattern Encoding and Path-Count Encoding as Deep Neural Network Representations

論文の概要: On-Off Pattern Encoding and Path-Count Encoding as Deep Neural Network Representations

arxiv url: http://arxiv.org/abs/2401.09518v1
Date: Wed, 17 Jan 2024 16:40:56 GMT
ステータス: 処理完了
システム内更新日: 2024-01-19 18:42:41.516744
Title: On-Off Pattern Encoding and Path-Count Encoding as Deep Neural Network Representations
Title（参考訳）: ディープニューラルネットワーク表現としてのオンオフパターンエンコーディングとパスカウントエンコーディング
Authors: Euna Jung, Jaekeol Choi, EungGu Yun, Wonjong Rhee
Abstract要約: textitOn-Off パターンと textitPathCount' を,情報がどのように深層表現に格納されているかを調べるために検討する。 On-Off や PathCount を直接利用して,既存の DNN 解釈手法である Class Activation Map (CAM) を改善する方法を提案する。
参考スコア（独自算出の注目度）: 5.284425534494986
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding the encoded representation of Deep Neural Networks (DNNs) has been a fundamental yet challenging objective. In this work, we focus on two possible directions for analyzing representations of DNNs by studying simple image classification tasks. Specifically, we consider \textit{On-Off pattern} and \textit{PathCount} for investigating how information is stored in deep representations. On-off pattern of a neuron is decided as `on' or `off' depending on whether the neuron's activation after ReLU is non-zero or zero. PathCount is the number of paths that transmit non-zero energy from the input to a neuron. We investigate how neurons in the network encodes information by replacing each layer's activation with On-Off pattern or PathCount and evaluating its effect on classification performance. We also examine correlation between representation and PathCount. Finally, we show a possible way to improve an existing DNN interpretation method, Class Activation Map (CAM), by directly utilizing On-Off or PathCount.
Abstract（参考訳）: 深層ニューラルネットワーク(dnn)のエンコード表現を理解することは、基本的には難しい目標でした。本研究では,DNNの表現を単純な画像分類タスクで解析する2つの方法に焦点をあてる。具体的には、情報がどのように深層表現に格納されているかを調べるために、 \textit{On-Off pattern} と \textit{PathCount} を考える。 ReLU後のニューロンの活性化が非ゼロかゼロかによって、ニューロンのオンオフパターンを「オン」または「オフ」と判定する。 PathCountは入力からニューロンへ非ゼロエネルギーを伝達する経路の数である。ネットワーク内のニューロンは,各レイヤの活性化をOn-OffパターンやPathCountに置き換えて情報をエンコードし,分類性能に与える影響を評価する。また、表現とPathCountの相関についても検討する。最後に,On-OffやPathCountを直接利用することにより,既存のDNN解釈手法であるクラス活性化マップ(CAM)を改善する方法を示す。

関連論文リスト

Nearest Neighbor Representations of Neural Circuits [12.221087476416056]
Nearest Neighbor (NN)表現は計算の新しいアプローチである。我々は、そのNN表現に対して、ビット数に明示的な境界を持つ明示的な構成を提供する。例えば、凸多面体のNN表現(閾値ゲートのAND)、IP2、閾値ゲートのOR、線形または正確な決定リストなどがある。
論文参考訳（メタデータ） (2024-02-13T19:38:01Z)
Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions [36.41141627989279]
Implicit Neural Representation (INR) は、信号の連続表現として訓練されたニューラルネットワークである。我々の研究は、各ニューロンの出力画素への寄与の強さを調べることによって、INRの特性を説明する統一的な枠組みである。
論文参考訳（メタデータ） (2024-01-18T18:57:40Z)
Probing neural representations of scene perception in a hippocampally dependent task using artificial neural networks [1.0312968200748116]
バックプロパゲーションによって訓練されたディープ人工ニューラルネットワーク(DNN)は、哺乳類の視覚システムの効果的なモデルを提供する。本稿では,海馬依存型課題に触発されたシーン認識ベンチマークについて述べる。側頭葉構造と海馬の接続性に着想を得たネットワークアーキテクチャを用いて,三重項損失を用いて訓練したDNNが,この課題を学習できることを実証した。
論文参考訳（メタデータ） (2023-03-11T10:26:25Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
Neural Architecture Search via Bregman Iterations [1.7778609937758323]
本稿では,Bregman反復に基づくニューラルアーキテクチャ探索(NAS)の新たな戦略を提案する。我々の勾配に基づくワンショットアルゴリズムは、徐々に、逆スケール空間の方法で関連するパラメータを追加する。
論文参考訳（メタデータ） (2021-06-04T13:37:47Z)
Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文参考訳（メタデータ） (2020-12-10T22:30:25Z)
Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文参考訳（メタデータ） (2020-10-02T16:50:26Z)
Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文参考訳（メタデータ） (2020-09-10T17:59:10Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)
Interpretation of ResNet by Visualization of Preferred Stimulus in Receptive Fields [2.28438857884398]
ImageNetの分類タスクにおけるResNetの受容領域について検討する。 ResNetは配向選択的ニューロンと二重対立色ニューロンを持つ。さらに,ResNetの第1層における不活性ニューロンが分類タスクに影響を及ぼす可能性が示唆された。
論文参考訳（メタデータ） (2020-06-02T14:25:26Z)
Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2020-05-15T23:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。