論文の概要: Balanced and Deterministic Weight-sharing Helps Network Performance
- arxiv url: http://arxiv.org/abs/2312.08401v1
- Date: Wed, 13 Dec 2023 06:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 03:10:20.301941
- Title: Balanced and Deterministic Weight-sharing Helps Network Performance
- Title（参考訳）: バランスと決定論的ウェイトシェアリングはネットワークパフォーマンスに役立つ
- Authors: Oscar Chang, Hod Lipson
- Abstract要約: ArbNetsは、ニューラルネットワークにおける効率的な任意のウェイトシェアリングのためのフレームワークである。
我々は、共通のニューラルネットワークを異なるハッシュ関数を持つ ArbNet として表現できることを示す。
また,2つの新しいハッシュ関数であるDirichletハッシュとNeighborhoodハッシュを提案し,バランスの取れた重み付けがニューラルネットワークの性能に与える影響を実験的に示す。
- 参考スコア（独自算出の注目度）: 12.090942406595637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight-sharing plays a significant role in the success of many deep neural
networks, by increasing memory efficiency and incorporating useful inductive
priors about the problem into the network. But understanding how weight-sharing
can be used effectively in general is a topic that has not been studied
extensively. Chen et al. [2015] proposed HashedNets, which augments a
multi-layer perceptron with a hash table, as a method for neural network
compression. We generalize this method into a framework (ArbNets) that allows
for efficient arbitrary weight-sharing, and use it to study the role of
weight-sharing in neural networks. We show that common neural networks can be
expressed as ArbNets with different hash functions. We also present two novel
hash functions, the Dirichlet hash and the Neighborhood hash, and use them to
demonstrate experimentally that balanced and deterministic weight-sharing helps
with the performance of a neural network.
- Abstract（参考訳）: 重み共有は、多くのディープニューラルネットワークの成功において、メモリ効率を向上し、ネットワークに問題に関する有用な帰納的事前を組み込むことで重要な役割を果たす。
しかし、一般的に重量共有をどのように効果的に利用できるかを理解することは、広く研究されていないトピックである。
チェンなど。
2015年]ニューラルネットワークの圧縮手法として,ハッシュテーブルを備えた多層パーセプトロンを拡張可能なhashednetsを提案する。
この手法を,効率的な任意の重み共有を可能にするフレームワーク(arbnets)に一般化し,ニューラルネットワークにおける重み共有の役割を研究するために使用する。
我々は、共通のニューラルネットワークを異なるハッシュ関数を持つ ArbNet として表現できることを示す。
また,2つの新しいハッシュ関数であるDirichletハッシュとNeighborhoodハッシュを提案し,バランスの取れた重み付けがニューラルネットワークの性能に与える影響を実験的に示す。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Using Cooperative Game Theory to Prune Neural Networks [7.3959659158152355]
本稿では,協調ゲーム理論の解の概念を用いて,ニューラルネットワークの刈り取り問題に対処する方法について述べる。
本稿では,GTAP(Game Theory Assisted Pruning)と呼ばれる,予測精度を維持しつつ,ニューラルネットワークのサイズを小さくする手法を提案する。
論文 参考訳（メタデータ） (2023-11-17T11:48:10Z) - Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。
また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。
この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
論文 参考訳（メタデータ） (2023-10-25T12:38:36Z) - Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。
本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-18T05:39:32Z) - Understanding Weight Similarity of Neural Networks via Chain
Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。
まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。
ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文 参考訳（メタデータ） (2022-08-08T19:11:03Z) - Stabilizing Elastic Weight Consolidation method in practical ML tasks
and using weight importances for neural network pruning [0.0]
完全連結層および畳み込み層を有するネットワークに適用した場合、ウェイトの重要性を計算するための既知の方法論をより厳密に比較する。
また,畳み込み層と自己アテンション層を有する多層ニューラルネットワークにおいて,弾性重み統合法を適用する際に生じる問題を指摘する。
論文 参考訳（メタデータ） (2021-09-21T08:24:37Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳（メタデータ） (2021-05-20T04:54:57Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。