Fugu-MT 論文翻訳(概要): Training and Generating Neural Networks in Compressed Weight Space

論文の概要: Training and Generating Neural Networks in Compressed Weight Space

arxiv url: http://arxiv.org/abs/2112.15545v1
Date: Fri, 31 Dec 2021 16:50:31 GMT
ステータス: 処理完了
システム内更新日: 2022-01-03 14:08:42.837392
Title: Training and Generating Neural Networks in Compressed Weight Space
Title（参考訳）: 圧縮重み空間におけるニューラルネットワークの訓練と生成
Authors: Kazuki Irie and J\"urgen Schmidhuber
Abstract要約: 間接エンコーディングやウェイト行列のエンドツーエンド圧縮は、そのようなアプローチをスケールするのに役立ちます。私たちのゴールは、文字レベルの言語モデリングのためのリカレントニューラルネットワークから始まる、このトピックに関する議論を開くことです。
参考スコア（独自算出の注目度）: 9.952319575163607
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The inputs and/or outputs of some neural nets are weight matrices of other neural nets. Indirect encodings or end-to-end compression of weight matrices could help to scale such approaches. Our goal is to open a discussion on this topic, starting with recurrent neural networks for character-level language modelling whose weight matrices are encoded by the discrete cosine transform. Our fast weight version thereof uses a recurrent neural network to parameterise the compressed weights. We present experimental results on the enwik8 dataset.
Abstract（参考訳）: いくつかのニューラルネットの入力および/または出力は他のニューラルネットの重み行列である。間接エンコーディングやウェイト行列のエンドツーエンド圧縮は、そのようなアプローチをスケールするのに役立ちます。私たちの目標は、重み行列が離散コサイン変換によって符号化される文字レベル言語モデリングのための再帰的ニューラルネットワークから、このトピックに関する議論を開くことです。その高速重みバージョンは、圧縮重みをパラメータ化するために再帰的なニューラルネットワークを使用する。 enwik8データセットに関する実験結果を示す。

関連論文リスト

Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
論文参考訳（メタデータ） (2024-10-10T14:49:58Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Toward Neuromic Computing: Neurons as Autoencoders [0.0]
本稿では、神経バックプロパゲーションが樹状突起処理を用いて、個々のニューロンが自己エンコーディングを行うことを可能にするという考えを述べる。非常に単純な接続重み探索と人工ニューラルネットワークモデルを用いて、フィードフォワードネットワークの隠蔽層における各ニューロンに対する自己エンコーディングのインターリーブ効果について検討した。
論文参考訳（メタデータ） (2024-03-04T18:58:09Z)
"Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文参考訳（メタデータ） (2024-03-01T03:46:28Z)
Spiking mode-based neural networks [2.5690340428649328]
スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
論文参考訳（メタデータ） (2023-10-23T06:54:17Z)
Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文参考訳（メタデータ） (2023-06-29T14:52:04Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文参考訳（メタデータ） (2022-01-30T20:12:04Z)
Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization [0.0]
低レイテンシやモバイルアプリケーションでは、計算量の削減、メモリフットプリントの削減、エネルギー効率の向上が望まれている。重み二項化の最近の研究は、重み-入出力行列の乗法を加算に置き換えている。完全二進法ではなく部分二進法の重み付けから、トレーニングがより優れた精度で完全二進法の重み付けネットワークに到達することを実証的に示す。
論文参考訳（メタデータ） (2021-11-13T05:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。