論文の概要: Deephys: Deep Electrophysiology, Debugging Neural Networks under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2303.11912v1
• Date: Fri, 17 Mar 2023 21:13:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 14:28:20.334310
• Title: Deephys: Deep Electrophysiology, Debugging Neural Networks under Distribution Shifts
• Title（参考訳）: deephys: 分布シフト下での深い電気生理学的、デバッギングニューラルネットワーク
• Authors: Anirban Sarkar, Matthew Groth, Ian Mason, Tomotake Sasaki, Xavier Boix
• Abstract要約: 深部電気生理学は、個々のユニットの特徴的チューニングと不変性を分析することによって、ニューラルネットワークの内部機能を検査することに基づいている。 Deephysは、個々のニューロン、個々の画像、カテゴリからの一連の画像のシームレスな分析を提供する。
• 参考スコア（独自算出の注目度）: 5.653540639122822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) often fail in out-of-distribution scenarios. In this paper, we introduce a tool to visualize and understand such failures. We draw inspiration from concepts from neural electrophysiology, which are based on inspecting the internal functioning of a neural networks by analyzing the feature tuning and invariances of individual units. Deep Electrophysiology, in short Deephys, provides insights of the DNN's failures in out-of-distribution scenarios by comparative visualization of the neural activity in in-distribution and out-of-distribution datasets. Deephys provides seamless analyses of individual neurons, individual images, and a set of set of images from a category, and it is capable of revealing failures due to the presence of spurious features and novel features. We substantiate the validity of the qualitative visualizations of Deephys thorough quantitative analyses using convolutional and transformers architectures, in several datasets and distribution shifts (namely, colored MNIST, CIFAR-10 and ImageNet).
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、しばしば配布外シナリオで失敗する。 本稿では,このような失敗を可視化し,理解するためのツールを提案する。 神経電気生理学の概念からインスピレーションを得て、個々のユニットの特徴的チューニングと不変性を解析することにより、ニューラルネットワークの内部機能を検査する。 深部電気生理学(deep electrophysiology、略称deephys)は、分布内データセットと分布外データセットにおける神経活動の比較可視化により、分布外シナリオにおけるdnnの失敗についての洞察を提供する。 Deephysは、個々のニューロン、個々の画像、カテゴリからの一連の画像のシームレスな分析を提供し、突発的な特徴や新しい特徴の存在によって失敗を明らかにすることができる。 畳み込みおよび変圧器アーキテクチャを用いたDeephysの定性的可視化の妥当性を,いくつかのデータセットと分布シフト(色付きMNIST, CIFAR-10, ImageNet)で検証した。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• An out-of-distribution discriminator based on Bayesian neural network epistemic uncertainty [0.19573380763700712]
  ベイズニューラルネットワーク(Bayesian Neural Network, BNN)は、不確実性を定量化するための組み込み能力を備えた、重要なタイプのニューラルネットワークである。 本稿では,BNNにおける失語症およびてんかんの不確実性とその計算方法について論じる。
  論文  参考訳（メタデータ） (2022-10-18T21:15:33Z)
• Asymptotic-Preserving Neural Networks for multiscale hyperbolic models of epidemic spread [0.0]
  多くの状況において、感染症の空間的伝播は、多スケールのPDEによって管理される異なるスケールの個体の動きによって特徴づけられる。 複数のスケールが存在する場合、PINNの直接適用は一般的に、ニューラルネットワークの損失関数における微分モデルのマルチスケールの性質のため、結果の低下につながる。 本稿では,パンデミック拡散のマルチスケール多代謝輸送モデルのための新しいAPニューラルネットワーク(APNN)について考察する。
  論文  参考訳（メタデータ） (2022-06-25T11:25:47Z)
• Analyzing the Effects of Handling Data Imbalance on Learned Features from Medical Images by Looking Into the Models [50.537859423741644]
  不均衡なデータセットでモデルをトレーニングすることは、学習問題にユニークな課題をもたらす可能性がある。 ニューラルネットワークの内部ユニットを深く調べて、データの不均衡処理が学習した機能にどのように影響するかを観察します。
  論文  参考訳（メタデータ） (2022-04-04T09:38:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
  本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。 ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。 その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:31Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Complexity for deep neural networks and other characteristics of deep feature representations [0.0]
  ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。 トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
  論文  参考訳（メタデータ） (2020-06-08T17:59:30Z)
• ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
  ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。 Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
  論文  参考訳（メタデータ） (2020-02-18T05:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。