論文の概要: Magnificent Minified Models

• arxiv url: http://arxiv.org/abs/2306.10177v1
• Date: Fri, 16 Jun 2023 21:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 23:55:23.122126
• Title: Magnificent Minified Models
• Title（参考訳）: 豪華なミニフィニッションモデル
• Authors: Rich Harang and Hillary Sanders
• Abstract要約: 本論文は、大規模なトレーニングニューラルネットワークを「圧縮」し、パラメータやニューロン全体を削除することで、より小さくするタスクを自覚する。 パラメータとニューロン選択の様々な方法を比較する:ドロップアウトベースニューロン損傷推定、ニューロンのマージ、絶対値ベース選択、ランダム選択。 ニューロンレベルのプルーニングでは、スクラッチから再トレーニングを行うことで、実験はずっと良くなりました。
• 参考スコア（独自算出の注目度）: 0.360953887026184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper concerns itself with the task of taking a large trained neural network and 'compressing' it to be smaller by deleting parameters or entire neurons, with minimal decreases in the resulting model accuracy. We compare various methods of parameter and neuron selection: dropout-based neuron damage estimation, neuron merging, absolute-value based selection, random selection, OBD (Optimal Brain Damage). We also compare a variation on the classic OBD method that slightly outperformed all other parameter and neuron selection methods in our tests with substantial pruning, which we call OBD-SD. We compare these methods against quantization of parameters. We also compare these techniques (all applied to a trained neural network), with neural networks trained from scratch (random weight initialization) on various pruned architectures. Our results are only barely consistent with the Lottery Ticket Hypothesis, in that fine-tuning a parameter-pruned model does slightly better than retraining a similarly pruned model from scratch with randomly initialized weights. For neuron-level pruning, retraining from scratch did much better in our experiments.
• Abstract（参考訳）: 本論文は、大規模なニューラルネットワークを学習し、パラメータやニューロン全体を削除して「圧縮」し、結果として得られるモデルの精度を最小限に抑えるという課題を自覚する。 パラメータとニューロン選択の様々な方法を比較する:ドロップアウトベースニューロン損傷推定、ニューロンのマージ、絶対値ベース選択、ランダム選択、OBD(Optimal Brain damage)。 また,obd-sdと呼ばれるプルーニング法を用いて,他のパラメータやニューロン選択法をわずかに上回っていた従来のobd法のバリエーションを比較した。 これらの手法をパラメータの量子化と比較する。 また、これらのテクニック(すべてトレーニングされたニューラルネットワークに適用)と、さまざまなプルーニングアーキテクチャ上でスクラッチ(ランダム重量初期化)からトレーニングされたニューラルネットワークを比較する。 パラメータの微調整は、ランダムに初期化された重みで、スクラッチから同様の刈り取ったモデルを再トレーニングするよりもわずかに良いのです。 ニューロンレベルのプルーニングでは、スクラッチから再トレーニングすることが実験で非常に有効でした。

関連論文リスト

• Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
  大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。 最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。 我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
  論文  参考訳（メタデータ） (2024-03-18T09:55:01Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Supervised Parameter Estimation of Neuron Populations from Multiple Firing Events [3.2826301276626273]
  本研究では,一対のスパイキング系列とパラメータラベルからなる学習セットから,ニューロン集団のパラメータを自動的に学習する手法について,教師あり学習を通して検討した。 我々は、ニューロンモデルを用いて、異なるパラメータ設定での計算において多くのニューロン集団をシミュレートする。 次に、遺伝的検索、ベイズ逐次推定、ランダムウォーク近似モデルなどの古典的手法と比較する。
  論文  参考訳（メタデータ） (2022-10-02T03:17:05Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Investigation and Analysis of Hyper and Hypo neuron pruning to selectively update neurons during Unsupervised Adaptation [8.845660219190298]
  プルーニングアプローチは、モデルの決定に寄与しない低塩性ニューロンを求める。 この研究は、プルーニングアプローチが、高塩分(主に活性または超活性)または低塩分(ほとんど活性または偽)のニューロンを検出することに成功しているかどうかを調査する。 これは、まず特定のニューロン(高次ニューロンと低次ニューロンからなる)を選択的に適応させ、次にフルネットワークの微調整を行うことが可能であることを示している。
  論文  参考訳（メタデータ） (2020-01-06T19:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。