論文の概要: Training and Generating Neural Networks in Compressed Weight Space
- arxiv url: http://arxiv.org/abs/2112.15545v1
- Date: Fri, 31 Dec 2021 16:50:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 14:08:42.837392
- Title: Training and Generating Neural Networks in Compressed Weight Space
- Title(参考訳): 圧縮重み空間におけるニューラルネットワークの訓練と生成
- Authors: Kazuki Irie and J\"urgen Schmidhuber
- Abstract要約: 間接エンコーディングやウェイト行列のエンドツーエンド圧縮は、そのようなアプローチをスケールするのに役立ちます。
私たちのゴールは、文字レベルの言語モデリングのためのリカレントニューラルネットワークから始まる、このトピックに関する議論を開くことです。
- 参考スコア(独自算出の注目度): 9.952319575163607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The inputs and/or outputs of some neural nets are weight matrices of other
neural nets. Indirect encodings or end-to-end compression of weight matrices
could help to scale such approaches. Our goal is to open a discussion on this
topic, starting with recurrent neural networks for character-level language
modelling whose weight matrices are encoded by the discrete cosine transform.
Our fast weight version thereof uses a recurrent neural network to parameterise
the compressed weights. We present experimental results on the enwik8 dataset.
- Abstract(参考訳): いくつかのニューラルネットの入力および/または出力は他のニューラルネットの重み行列である。
間接エンコーディングやウェイト行列のエンドツーエンド圧縮は、そのようなアプローチをスケールするのに役立ちます。
私たちの目標は、重み行列が離散コサイン変換によって符号化される文字レベル言語モデリングのための再帰的ニューラルネットワークから、このトピックに関する議論を開くことです。
その高速重みバージョンは、圧縮重みをパラメータ化するために再帰的なニューラルネットワークを使用する。
enwik8データセットに関する実験結果を示す。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Toward Neuromic Computing: Neurons as Autoencoders [0.0]
本稿では、神経バックプロパゲーションが樹状突起処理を用いて、個々のニューロンが自己エンコーディングを行うことを可能にするという考えを述べる。
非常に単純な接続重み探索と人工ニューラルネットワークモデルを用いて、フィードフォワードネットワークの隠蔽層における各ニューロンに対する自己エンコーディングのインターリーブ効果について検討した。
論文 参考訳(メタデータ) (2024-03-04T18:58:09Z) - "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳(メタデータ) (2024-03-01T03:46:28Z) - Spiking mode-based neural networks [2.5690340428649328]
スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。
大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。
本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2023-10-23T06:54:17Z) - Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。
標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-06-29T14:52:04Z) - Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。
NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。
Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文 参考訳(メタデータ) (2023-05-22T23:38:27Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-01-30T20:12:04Z) - Iterative Training: Finding Binary Weight Deep Neural Networks with
Layer Binarization [0.0]
低レイテンシやモバイルアプリケーションでは、計算量の削減、メモリフットプリントの削減、エネルギー効率の向上が望まれている。
重み二項化の最近の研究は、重み-入出力行列の乗法を加算に置き換えている。
完全二進法ではなく部分二進法の重み付けから、トレーニングがより優れた精度で完全二進法の重み付けネットワークに到達することを実証的に示す。
論文 参考訳(メタデータ) (2021-11-13T05:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。