論文の概要: Spectral Introspection Identifies Group Training Dynamics in Deep Neural Networks for Neuroimaging
- arxiv url: http://arxiv.org/abs/2406.11825v1
- Date: Mon, 17 Jun 2024 17:58:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 13:04:25.327197
- Title: Spectral Introspection Identifies Group Training Dynamics in Deep Neural Networks for Neuroimaging
- Title（参考訳）: ニューロイメージングのためのディープニューラルネットワークにおけるグループトレーニングダイナミクスのスペクトルイントロスペクションによる同定
- Authors: Bradley T. Baker, Vince D. Calhoun, Sergey M. Plis,
- Abstract要約: 本稿では,ニューロイメージングデータの深層学習のための新しいイントロスペクションフレームワークを提案する。
評価に完全訓練モデルを必要とするポストホック検査法とは異なり,本手法はフライ時のトレーニング力学の研究を可能にする。
- 参考スコア（独自算出の注目度）: 16.002859238417223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks, whice have had a profound effect on how researchers study complex phenomena, do so through a complex, nonlinear mathematical structure which can be difficult for human researchers to interpret. This obstacle can be especially salient when researchers want to better understand the emergence of particular model behaviors such as bias, overfitting, overparametrization, and more. In Neuroimaging, the understanding of how such phenomena emerge is fundamental to preventing and informing users of the potential risks involved in practice. In this work, we present a novel introspection framework for Deep Learning on Neuroimaging data, which exploits the natural structure of gradient computations via the singular value decomposition of gradient components during reverse-mode auto-differentiation. Unlike post-hoc introspection techniques, which require fully-trained models for evaluation, our method allows for the study of training dynamics on the fly, and even more interestingly, allow for the decomposition of gradients based on which samples belong to particular groups of interest. We demonstrate how the gradient spectra for several common deep learning models differ between schizophrenia and control participants from the COBRE study, and illustrate how these trajectories may reveal specific training dynamics helpful for further analysis.
- Abstract（参考訳）: ニューラルネットワークは、複雑な現象の研究方法に大きな影響を与えており、人間の研究者にとって解釈が難しい複雑な非線形な数学的構造を通して行っています。
この障害は、偏見、過度な適合、過度なパラメータ化など、特定のモデル行動の出現をよりよく理解したい研究者にとって、特に有益である。
ニューロイメージング(Neuroimaging)では、そのような現象がどのように現われるかを理解することは、実践に関わる潜在的なリスクをユーザーに予防し知らせるのに不可欠である。
本稿では,逆モード自動微分における勾配成分の特異値分解による勾配計算の自然な構造を利用する,ニューロイメージングデータの深層学習のための新しいイントロスペクションフレームワークを提案する。
完全学習モデルを必要とするポストホックイントロスペクション法とは異なり,本手法はフライ時のトレーニング力学の研究が可能であり,さらに興味深いことに,サンプルが特定のグループに属することに基づく勾配の分解を可能にする。
統合失調症とコントロール参加者の間には,いくつかの一般的な深層学習モデルの勾配スペクトルがどう異なるかを示すとともに,これらのトラジェクトリが,さらなる分析に役立つ特定のトレーニングダイナミクスを明らかにするかを示す。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - A Fuzzy-based Approach to Predict Human Interaction by Functional Near-Infrared Spectroscopy [25.185426359719454]
本稿では、心理学研究におけるニューラルモデルの解釈可能性と有効性に対する新しい計算手法であるファジィベースの注意層(ファジィ注意層)について紹介する。
ファジィロジックを活用することで、ファジィ注意層は神経活動の解釈可能なパターンを学習し識別することができる。
論文 参考訳（メタデータ） (2024-09-26T09:20:12Z) - Deep Latent Variable Modeling of Physiological Signals [0.8702432681310401]
潜時変動モデルを用いた生理モニタリングに関する高次元問題について検討する。
まず、光学的に得られた信号を入力として、心の電気波形を生成するための新しい状態空間モデルを提案する。
次に,確率的グラフィカルモデルの強みと深い敵対学習を組み合わせた脳信号モデリング手法を提案する。
第3に,生理的尺度と行動の合同モデリングのための枠組みを提案する。
論文 参考訳（メタデータ） (2024-05-29T17:07:33Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Finding Alignments Between Interpretable Causal Variables and
Distributed Neural Representations [62.65877150123775]
因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。
既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。
これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
論文 参考訳（メタデータ） (2023-03-05T00:57:49Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - On the Evolution of Neuron Communities in a Deep Learning Architecture [0.7106986689736827]
本稿では,ディープラーニングに基づく分類モデルのニューロン活性化パターンについて検討する。
コミュニティの品質(モジュラリティ)とエントロピーの両方が、ディープラーニングモデルのパフォーマンスと密接に関連していることを示す。
論文 参考訳（メタデータ） (2021-06-08T21:09:55Z) - Information theoretic analysis of computational models as a tool to
understand the neural basis of behaviors [0.0]
今世紀最大の研究課題の1つは、脳の身体環境システムにおける行動の神経基盤を理解することである。
計算モデルは、モデルシステムを研究することができる別のフレームワークを提供する。
本稿では,計算モデルの情報理論解析が強力な研究手法であることを示すための紹介,レビュー,議論を行う。
論文 参考訳（メタデータ） (2021-06-02T02:08:18Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。