論文の概要: PathFinder: Discovering Decision Pathways in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2210.00319v1
• Date: Sat, 1 Oct 2022 16:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:17:59.796277
• Title: PathFinder: Discovering Decision Pathways in Deep Neural Networks
• Title（参考訳）: PathFinder:ディープニューラルネットワークにおける決定経路の発見
• Authors: Ozan \.Irsoy, Ethem Alpayd{\i}n
• Abstract要約: 同じクラスのインスタンスが、レイヤ上の少数のクラスタシーケンスに従っていることに気付き、決定パスを名付けています。 このようなパスは、分類決定が通常どのように行われるかを説明し、また、異常なパスに従う外れ値を決定するのにも役立ちます。 我々は、MNISTとCELEBで訓練された2つのフィードフォワードネットワークと、PenDigitsで訓練された1つの繰り返しネットワークを用いて、本手法の有効性を検証する。
• 参考スコア（独自算出の注目度）: 10.914300987810126
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Explainability is becoming an increasingly important topic for deep neural networks. Though the operation in convolutional layers is easier to understand, processing becomes opaque in fully-connected layers. The basic idea in our work is that each instance, as it flows through the layers, causes a different activation pattern in the hidden layers and in our Paths methodology, we cluster these activation vectors for each hidden layer and then see how the clusters in successive layers connect to one another as activation flows from the input layer to the output. We find that instances of the same class follow a small number of cluster sequences over the layers, which we name ``decision paths." Such paths explain how classification decisions are typically made, and also help us determine outliers that follow unusual paths. We also propose using the Sankey diagram to visualize such pathways. We validate our method with experiments on two feed-forward networks trained on MNIST and CELEB data sets, and one recurrent network trained on PenDigits.
• Abstract（参考訳）: 深いニューラルネットワークにとって、説明可能性はますます重要なトピックになりつつある。 畳み込み層での操作は理解しやすいが、完全に接続された層では処理が不透明になる。 作業の基本的な考え方は、各インスタンスがレイヤを流れると、隠れたレイヤ内で異なるアクティベーションパターンを引き起こし、Pathの方法論では、これらのアクティベーションベクトルを隠れたレイヤ毎にクラスタ化し、次に、連続したレイヤ内のクラスタが、入力層から出力へのアクティベーションフローとして接続する様子を見ることです。 同じクラスのインスタンスは、レイヤ上の少数のクラスタシーケンスに従っており、それを ``decision paths' と呼ぶ。 「このような道は、一般的に分類決定の仕方を説明し、異常な道をたどる外れ道の判断にも役立ちます。」 また,サンキー図を用いて経路を可視化する手法を提案する。 mnistとcelebデータセットでトレーニングされた2つのフィードフォワードネットワークと,pendigitsでトレーニングされた1つのリカレントネットワークについて実験を行い,本手法を検証する。

関連論文リスト

• Understanding the Role of Pathways in a Deep Neural Network [4.456675543894722]
  分類タスクで訓練された畳み込みニューラルネットワーク(CNN)を分析し,個々の画素の拡散経路を抽出するアルゴリズムを提案する。 画像からの個々のピクセルの最も大きな経路は、分類に重要な各層の特徴マップを横断する傾向にある。
  論文  参考訳（メタデータ） (2024-02-28T07:53:19Z)
• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks [0.0]
  (NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。 本稿では,中間層におけるNCの出現を包括的に解析する。
  論文  参考訳（メタデータ） (2023-08-05T01:19:38Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Bandit Sampling for Multiplex Networks [8.771092194928674]
  多数のレイヤを持つ多重ネットワーク上でのスケーラブルな学習アルゴリズムを提案する。 オンライン学習アルゴリズムは、トレーニング中に関連する情報を持つレイヤのみを集約するように、関連する隣のレイヤをサンプリングする方法を学ぶ。 合成シナリオと実世界のシナリオの両方に関する実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-08T03:26:34Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• Subspace Clustering Based Analysis of Neural Networks [7.451579925406617]
  入力セット上でトレーニングされたニューラルネットワーク層の潜在構造から親和性グラフを学習する。 次に、コミュニティ検出のツールを使用して、入力に存在する構造を定量化します。 ネットワークの最終畳み込み層の学習親和性グラフを解析し、入力の局所的近傍がネットワークによる分類にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2021-07-02T22:46:40Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Progressive Graph Convolutional Networks for Semi-Supervised Node Classification [97.14064057840089]
  グラフ畳み込みネットワークは、半教師付きノード分類のようなグラフベースのタスクに対処することに成功した。 本稿では,コンパクトかつタスク固有のグラフ畳み込みネットワークを自動構築する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-27T08:32:16Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。