論文の概要: Investigation and Analysis of Hyper and Hypo neuron pruning to
selectively update neurons during Unsupervised Adaptation
- arxiv url: http://arxiv.org/abs/2001.01755v1
- Date: Mon, 6 Jan 2020 19:46:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 02:19:13.122130
- Title: Investigation and Analysis of Hyper and Hypo neuron pruning to
selectively update neurons during Unsupervised Adaptation
- Title（参考訳）: 非教師的適応時の選択的ニューロン更新のための高次および低次ニューロンプルーニングの検討
- Authors: Vikramjit Mitra and Horacio Franco
- Abstract要約: プルーニングアプローチは、モデルの決定に寄与しない低塩性ニューロンを求める。
この研究は、プルーニングアプローチが、高塩分(主に活性または超活性)または低塩分(ほとんど活性または偽)のニューロンを検出することに成功しているかどうかを調査する。
これは、まず特定のニューロン(高次ニューロンと低次ニューロンからなる)を選択的に適応させ、次にフルネットワークの微調整を行うことが可能であることを示している。
- 参考スコア（独自算出の注目度）: 8.845660219190298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unseen or out-of-domain data can seriously degrade the performance of a
neural network model, indicating the model's failure to generalize to unseen
data. Neural net pruning can not only help to reduce a model's size but can
improve the model's generalization capacity as well. Pruning approaches look
for low-salient neurons that are less contributive to a model's decision and
hence can be removed from the model. This work investigates if pruning
approaches are successful in detecting neurons that are either high-salient
(mostly active or hyper) or low-salient (barely active or hypo), and whether
removal of such neurons can help to improve the model's generalization
capacity. Traditional blind adaptation techniques update either the whole or a
subset of layers, but have never explored selectively updating individual
neurons across one or more layers. Focusing on the fully connected layers of a
convolutional neural network (CNN), this work shows that it may be possible to
selectively adapt certain neurons (consisting of the hyper and the hypo
neurons) first, followed by a full-network fine tuning. Using the task of
automatic speech recognition, this work demonstrates how the removal of hyper
and hypo neurons from a model can improve the model's performance on
out-of-domain speech data and how selective neuron adaptation can ensure
improved performance when compared to traditional blind model adaptation.
- Abstract（参考訳）: unseenまたはout-of-domainデータは、ニューラルネットワークモデルのパフォーマンスを著しく低下させ、モデルがunseenデータに一般化できなかったことを示す。
ニューラルネットプルーニングは、モデルのサイズを減らすだけでなく、モデルの一般化能力も改善できる。
プルーニングアプローチは、モデルの決定にあまり寄与せず、それゆえモデルから取り除くことができる低塩分なニューロンを探す。
この研究は、プルーニングアプローチが、高塩分(主に活性または超活性)または低塩分(ほとんど活性または偽)のニューロンの検出に成功し、そのようなニューロンの除去がモデルの一般化能力の向上に役立つかどうかを検討する。
従来のブラインド適応技術は、全体またはサブセットのレイヤを更新するが、個々のニューロンを1つ以上のレイヤで選択的に更新することはなかった。
畳み込みニューラルネットワーク(cnn)の完全連結層に着目したこの研究は、まず特定のニューロン(ハイパーニューロンとハイポニューロン)を選択的に適応させ、次にフルネットワークの微調整を行うことが可能であることを示した。
自動音声認識の課題を用いて、モデルから高次ニューロンと低次ニューロンを除去することで、ドメイン外音声認識データにおけるモデルの性能が向上し、従来のブラインドモデルよりも選択的ニューロン適応が性能を向上できることを示す。
関連論文リスト
- Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
このようなループのための効率的な設計のフレームワークを提案する。
トレーニング中の人工ニューロンの最適刺激の変化を追跡する。
この洗練された最適刺激の形成は、分類精度の増大と関連している。
論文 参考訳（メタデータ） (2023-12-28T18:30:13Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。
本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。
WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文 参考訳（メタデータ） (2023-10-25T20:34:08Z) - Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。
我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文 参考訳（メタデータ） (2023-05-31T14:44:33Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳（メタデータ） (2023-01-10T03:04:27Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。
技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。
本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。
本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
論文 参考訳（メタデータ） (2022-01-05T00:24:45Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。