論文の概要: Discovering Influential Neuron Path in Vision Transformers
- arxiv url: http://arxiv.org/abs/2503.09046v1
- Date: Wed, 12 Mar 2025 04:10:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:40:47.059607
- Title: Discovering Influential Neuron Path in Vision Transformers
- Title（参考訳）: 視覚変換器におけるインフルエンシアルニューロン経路の発見
- Authors: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren,
- Abstract要約: ビジョントランスフォーマーモデルは、人間の理解に不透明な大きな力を示し、実用的な応用のための課題やリスクを提起する。
本稿では、モデル入力から出力までのニューロンの経路である視覚変換器における影響ニューロン経路の重要性について検討する。
- 参考スコア（独自算出の注目度）: 41.979846033816344
- License:
- Abstract: Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.
- Abstract（参考訳）: ビジョントランスフォーマーモデルは、人間の理解に不透明な大きな力を示し、実用的な応用のための課題やリスクを提起する。
従来の研究では、入力属性とニューロンの役割分析を通じてこれらのモデルをデミスティフィケートしようとする試みがあったが、レイヤレベルの情報と層をまたいだ情報の流れの全体的パスを考慮すると、注目すべきギャップがあった。
本稿では、モデル入力から出力までのニューロンの経路である視覚変換器における影響ニューロン経路の重要性について検討する。
まず、モデル結果に対する一連のニューロンの寄与を評価するための共同影響尺度を提案する。
さらに,各層において最も影響力のあるニューロンを効率よく選択し,入力からターゲットモデル内の出力への重要なニューロン経路の発見を試みる階層進行性ニューロン配置手法を提案する。
本実験は,既存のベースライン解よりも,情報の流れに沿った最も影響力のあるニューロン経路を求める手法の優位性を実証するものである。
さらに、ニューロンの経路は、視覚変換器が同じ画像カテゴリ内で視覚情報を処理するための特定の内部動作機構を示すことを示している。
さらに、これらのニューロンが画像分類タスクに与える重要な影響を分析し、検出されたニューロン経路が既に下流タスクでモデル機能を保持しており、モデルプルーニングのような現実世界のアプリケーションにいくつかの光を放つ可能性があることを示した。
実装コードを含むプロジェクトのWebサイトはhttps://foundation-model-research.github.io/NeuronPath/.comで公開されている。
関連論文リスト
- Exploring Behavior-Relevant and Disentangled Neural Dynamics with Generative Diffusion Models [2.600709013150986]
行動の神経基盤を理解することは神経科学の基本的な目標である。
私たちのアプローチは、BeNeDiff'と呼ばれるもので、まずきめ細やかな神経部分空間を識別します。
次に、最先端の生成拡散モデルを使用して、各潜伏因子の神経力学を解釈する行動ビデオを合成する。
論文 参考訳（メタデータ） (2024-10-12T18:28:56Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。
本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。
WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文 参考訳（メタデータ） (2023-10-25T20:34:08Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳（メタデータ） (2023-10-16T17:04:51Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳（メタデータ） (2021-11-25T13:24:19Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-03T16:39:43Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。