論文の概要: On Functional Activations in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2311.10898v1
- Date: Fri, 17 Nov 2023 22:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 13:48:29.513605
- Title: On Functional Activations in Deep Neural Networks
- Title（参考訳）: 深層ニューラルネットワークの機能的活性化について
- Authors: Andrew S. Nencka, L. Tugan Muftuler, Peter LaViolette, Kevin M. Koch
- Abstract要約: 近年の研究では、モデル内の接続の重なり合う関数ネットワークによって、いくつかのモデルの性能が変調されることが示されている。
ここでは、機能的ニューロイメージングの技法を模範的な大言語モデルに適用し、その機能構造を探索する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Deep neural networks have proven to be powerful computational
tools for modeling, prediction, and generation. However, the workings of these
models have generally been opaque. Recent work has shown that the performance
of some models are modulated by overlapping functional networks of connections
within the models. Here the techniques of functional neuroimaging are applied
to an exemplary large language model to probe its functional structure.
Methods: A series of block-designed task-based prompt sequences were generated
to probe the Facebook Galactica-125M model. Tasks included prompts relating to
political science, medical imaging, paleontology, archeology, pathology, and
random strings presented in an off/on/off pattern with prompts about other
random topics. For the generation of each output token, all layer output values
were saved to create an effective time series. General linear models were fit
to the data to identify layer output values which were active with the tasks.
Results: Distinct, overlapping networks were identified with each task. Most
overlap was observed between medical imaging and pathology networks. These
networks were repeatable across repeated performance of related tasks, and
correspondence of identified functional networks and activation in tasks not
used to define the functional networks was shown to accurately identify the
presented task. Conclusion: The techniques of functional neuroimaging can be
applied to deep neural networks as a means to probe their workings. Identified
functional networks hold the potential for use in model alignment, modulation
of model output, and identifying weights to target in fine-tuning.
- Abstract（参考訳）: 背景:ディープニューラルネットワークは、モデリング、予測、生成のための強力な計算ツールであることが証明されている。
しかし、これらのモデルの動作は一般に不透明である。
近年の研究では、モデル内の接続の重なり合う関数ネットワークによって、いくつかのモデルの性能が変調されることが示されている。
ここでは、機能的ニューロイメージングの技法を模範的な大言語モデルに適用し、その機能構造を探索する。
メソッド: Facebook Galactica-125Mモデルを探索するために、一連のブロック設計タスクベースのプロンプトシーケンスが生成される。
タスクには、政治科学、医用画像、古生物学、考古学、病理学、ランダムストリングに関するプロンプトと、他のランダムなトピックに関するプロンプトが含まれている。
各出力トークンの生成には、すべてのレイヤ出力値を保存し、効果的な時系列を生成する。
一般的な線形モデルは、タスクでアクティブな層出力値を特定するためにデータに適合した。
結果: 各タスクに個別に重なり合うネットワークが同定された。
医用画像と病理組織ネットワークの重なりが最も多かった。
これらのネットワークは、関連するタスクの繰り返しのパフォーマンスに対して繰り返し可能であり、特定された機能的ネットワークの対応と、機能的ネットワークを定義しないタスクのアクティベーションは、提示されたタスクを正確に識別する。
結論: 機能的ニューロイメージングの手法は,深層ニューラルネットワークに対して,その動作を調べる手段として応用することができる。
特定された機能ネットワークは、モデルアライメント、モデル出力の変調、微調整におけるターゲットへの重み付けに使われる可能性を持っている。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳（メタデータ） (2023-08-01T22:12:30Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - ASU-CNN: An Efficient Deep Architecture for Image Classification and
Feature Visualizations [0.0]
活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。
本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。
ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
論文 参考訳（メタデータ） (2023-05-28T16:52:25Z) - The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by
Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。
提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
論文 参考訳（メタデータ） (2022-07-18T15:07:13Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-08T10:06:51Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Non-linear Functional Modeling using Neural Networks [6.624726878647541]
ニューラルネットワークに基づく関数型データのための非線形モデルの新たなクラスを導入する。
提案するフレームワークには,連続的な隠蔽層を持つ関数型ニューラルネットワークと,ベース拡張と連続隠蔽層を利用する第2バージョンという,2つのバリエーションがある。
論文 参考訳（メタデータ） (2021-04-19T14:59:55Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。