論文の概要: Concept-Monitor: Understanding DNN training through individual neurons

• arxiv url: http://arxiv.org/abs/2304.13346v1
• Date: Wed, 26 Apr 2023 07:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 15:19:48.178900
• Title: Concept-Monitor: Understanding DNN training through individual neurons
• Title（参考訳）: 概念監視:個々のニューロンによるDNNトレーニングを理解する
• Authors: Mohammad Ali Khan, Tuomas Oikarinen, Tsui-Wei Weng
• Abstract要約: Concept-Monitorは、DNNトレーニングプロセスの人間解釈可能な可視化とインジケータを可能にする。 新しいトレーニング正則化器は隠されたニューロンを刺激し、多様な概念を学習する。 対人訓練, 微調整, ネットワークプルーニングに関する事例研究
• 参考スコア（独自算出の注目度）: 6.675191441365181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a general framework called Concept-Monitor to help demystify the black-box DNN training processes automatically using a novel unified embedding space and concept diversity metric. Concept-Monitor enables human-interpretable visualization and indicators of the DNN training processes and facilitates transparency as well as deeper understanding on how DNNs develop along the during training. Inspired by these findings, we also propose a new training regularizer that incentivizes hidden neurons to learn diverse concepts, which we show to improve training performance. Finally, we apply Concept-Monitor to conduct several case studies on different training paradigms including adversarial training, fine-tuning and network pruning via the Lottery Ticket Hypothesis
• Abstract（参考訳）: 本研究では,新しい統合埋め込み空間と概念多様性メトリクスを用いて,ブラックボックスDNNトレーニングプロセスのデマイズを支援するConcept-Monitorという一般的なフレームワークを提案する。 Concept-Monitorは、DNNトレーニングプロセスの人間解釈可能な可視化とインジケータを可能にし、透明性を促進し、トレーニング中にDNNがどのように発達するかをより深く理解する。 これらの知見に触発されて,隠れたニューロンに刺激を与え,多様な概念を学習し,トレーニング性能を向上させるための新たなトレーニング正則化器も提案する。 最後に,宝くじ仮説による敵意訓練,微調整,ネットワークプルーニングを含む異なる学習パラダイムに関するいくつかのケーススタディを行うために,概念監視を適用する。

関連論文リスト

• ConceptLens: from Pixels to Understanding [1.3466710708566176]
  ConceptLensは、隠れたニューロンの活性化を可視化することによって、ディープニューラルネットワーク(DNN)の複雑な動作を照明する革新的なツールである。 ディープラーニングとシンボリックな方法を統合することで、ConceptLensは、ニューロンの活性化を引き起こすものを理解するユニークな方法を提供する。
  論文  参考訳（メタデータ） (2024-10-04T20:49:12Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Concept Evolution in Deep Learning Training: A Unified Interpretation Framework and Discoveries [45.88354622464973]
  ConceptEvoはディープニューラルネットワーク(DNN)のための統合解釈フレームワーク それは、訓練中に学んだ概念の発端と進化を明らかにします。 これは、ConvNeXtのような現代のDNNアーキテクチャと、VGGsやInceptionV3のような古典的なDNNの両方に適用できる。
  論文  参考訳（メタデータ） (2022-03-30T17:12:18Z)
• The Dual Form of Neural Networks Revisited: Connecting Test Time Predictions to Training Patterns via Spotlights of Attention [8.131130865777344]
  勾配降下によって訓練されたニューラルネットワーク(NN)の線形層は、キー値メモリシステムとして表現できる。 このような形でNNの運用を効果的に研究した以前の研究はない。 我々は,単一タスク,マルチタスク,連続的な学習環境において,小規模な教師付き画像分類タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-02-11T17:49:22Z)
• Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
  本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。 本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。 提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
  論文  参考訳（メタデータ） (2021-09-13T11:29:04Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Explaining Deep Neural Networks using Unsupervised Clustering [12.639074798397619]
  本稿では、教師なしクラスタリングを用いて、訓練された深層ニューラルネットワーク(DNN)を代理モデルに蒸留することで、新しい説明法を提案する。 提案手法はDNNアーキテクチャの任意のレイヤに柔軟に適用可能であり,低レベルかつ高レベルな情報を組み込むことができる。
  論文  参考訳（メタデータ） (2020-07-15T04:49:43Z)
• A Competence-aware Curriculum for Visual Concepts Learning via Question Answering [95.35905804211698]
  本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。 視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。 CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2020-07-03T05:08:09Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。