論文の概要: Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing

• arxiv url: http://arxiv.org/abs/2208.04369v1
• Date: Mon, 8 Aug 2022 19:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:04:51.654316
• Title: Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
• Title（参考訳）: 連鎖正規化規則と仮説学習テストによるニューラルネットワークの重み相似性理解
• Authors: Guangcong Wang and Guangrun Wang and Wenqi Liang and Jianhuang Lai
• Abstract要約: 非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
• 参考スコア（独自算出の注目度）: 58.401504709365284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a weight similarity measure method that can quantify the weight similarity of non-convex neural networks. To understand the weight similarity of different trained models, we propose to extract the feature representation from the weights of neural networks. We first normalize the weights of neural networks by introducing a chain normalization rule, which is used for weight representation learning and weight similarity measure. We extend the traditional hypothesis-testing method to a hypothesis-training-testing statistical inference method to validate the hypothesis on the weight similarity of neural networks. With the chain normalization rule and the new statistical inference, we study the weight similarity measure on Multi-Layer Perceptron (MLP), Convolutional Neural Network (CNN), and Recurrent Neural Network (RNN), and find that the weights of an identical neural network optimized with the Stochastic Gradient Descent (SGD) algorithm converge to a similar local solution in a metric space. The weight similarity measure provides more insight into the local solutions of neural networks. Experiments on several datasets consistently validate the hypothesis of weight similarity measure.
• Abstract（参考訳）: 非凸ニューラルネットワークの重み類似度を定量化するための重み類似度測定法を提案する。 異なる学習モデルの重み類似性を理解するために,ニューラルネットワークの重みから特徴表現を抽出することを提案する。 まず,重み表現学習や重み類似度尺度に用いられる連鎖正規化規則を導入することで,ニューラルネットワークの重みを正規化する。 従来の仮説検定法を仮説学習試験統計推論法に拡張し,ニューラルネットワークの重み相似性に関する仮説を検証する。 連鎖正規化規則と新しい統計推定法を用いて,多層パーセプトロン(mlp),畳み込みニューラルネットワーク(cnn),リカレントニューラルネットワーク(rnn)の重み類似度尺度を調査し,確率的勾配降下(sgd)アルゴリズムに最適化された同一のニューラルネットワークの重みを計量空間における同様の局所解に収束させることを見出した。 重み類似度測定は、ニューラルネットワークの局所解に関するより深い洞察を与える。 いくつかのデータセットの実験は、重量類似度測定の仮説を一貫して検証する。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Improved Generalization of Weight Space Networks via Augmentations [56.571475005291035]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Probabilistic Weight Fixing: Large-scale training of neural network weight uncertainties for quantization [7.2282857478457805]
  重み共有量子化は、大規模ニューラルネットワークにおける推論中のエネルギー消費を減らす技術として登場した。 本稿では、ベイズニューラルネットワーク(BNN)に基づく確率的枠組みと、どの重みをどのクラスタ中心に移動できるかを特定する変動緩和法を提案する。 DeiT-Tiny を用いた ImageNet では,最先端の量子化手法 Top-1 の精度が 1.6% 向上した。
  論文  参考訳（メタデータ） (2023-09-24T08:04:28Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• Measurement error models: from nonparametric methods to deep neural networks [3.1798318618973362]
  本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。 完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。 我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
  論文  参考訳（メタデータ） (2020-07-15T06:05:37Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。