論文の概要: Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
- arxiv url: http://arxiv.org/abs/2409.07708v1
- Date: Thu, 12 Sep 2024 02:25:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 18:02:00.542138
- Title: Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
- Title（参考訳）: 制限ボルツマンマシンにおけるデータセットフリーウェイト初期化
- Authors: Muneki Yasuda, Ryosuke Maeno, Chako Takahashi,
- Abstract要約: フィードフォワードニューラルネットワークでは,データセットフリーの重み初期化手法が開発されている。
本稿では,Bernoulli--Bernoulli RBMの統計力学解析に基づくデータセットフリー重量初期化法を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In feed-forward neural networks, dataset-free weight-initialization method such as LeCun, Xavier (or Glorot), and He initializations have been developed. These methods randomly determine the initial values of weight parameters based on specific distributions (e.g., Gaussian or uniform distributions) without using training datasets. To the best of the authors' knowledge, such a dataset-free weight-initialization method is yet to be developed for restricted Boltzmann machines (RBMs), which are probabilistic neural networks consisting of two layers, In this study, we derive a dataset-free weight-initialization method for Bernoulli--Bernoulli RBMs based on a statistical mechanical analysis. In the proposed weight-initialization method, the weight parameters are drawn from a Gaussian distribution with zero mean. The standard deviation of the Gaussian distribution is optimized based on our hypothesis which is that a standard deviation providing a larger layer correlation (LC) between the two layers improves the learning efficiency. The expression of the LC is derived based on a statistical mechanical analysis. The optimal value of the standard deviation corresponds to the maximum point of the LC. The proposed weight-initialization method is identical to Xavier initialization in a specific case (i.e., in the case the sizes of the two layers are the same, the random variables of the layers are $\{-1,1\}$-binary, and all bias parameters are zero).
- Abstract（参考訳）: フィードフォワードニューラルネットワークでは、LeCun、Xavier(またはGrorot)、Heといったデータセットフリーの重み初期化手法が開発されている。
これらの手法は、トレーニングデータセットを用いることなく、特定の分布(例えば、ガウス分布や一様分布)に基づいて、ウェイトパラメータの初期値をランダムに決定する。
そこで本研究では,Beroulli--Bernoulli RBMのモデルフリー重量初期化法を統計的力学解析に基づいて導出した。
提案手法では, 平均値ゼロのガウス分布から重みパラメータを抽出する。
ガウス分布の標準偏差は,二つの層の間に大きな層相関(LC)を与える標準偏差が学習効率を向上させるという仮説に基づいて最適化される。
LCの発現は統計力学的解析に基づいて導出される。
標準偏差の最適値はLCの最大点に対応する。
提案した重み初期化法は、特定の場合におけるXavier初期化と同一である(すなわち、2つの層のサイズが同じ場合、各層のランダム変数は$\{-1,1\}$-binaryであり、すべてのバイアスパラメータはゼロである)。
関連論文リスト
- Effective Non-Random Extreme Learning Machine [0.0]
本稿では、回帰タスクのための新しい拡張学習アルゴリズム、Effective Non-Random ELM(ENR-ELM)を提案する。
提案手法は,基本関数や投影などの信号処理の概念をEMMフレームワークに組み込む。
合成データと実データの両方を用いた実験結果から,本手法は従来のEMMの課題を克服し,比較可能な予測性能を維持していることが示された。
論文 参考訳（メタデータ） (2024-11-25T09:42:42Z) - Maximum Weight Entropy [6.821961232645206]
本稿では,ベイジアン法とアンサンブル法を用いて,ディープラーニングにおける不確実な定量化と分布外検出を扱う。
ニューラルネットワークを考えると、平均的な経験的リスクと重量分布エントロピーの間のトレードオフとして定義されたそのような分布を構築するために、実用的な最適化が導出される。
論文 参考訳（メタデータ） (2023-09-27T14:46:10Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Exact Backpropagation in Binary Weighted Networks with Group Weight
Transformations [0.0]
量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。
重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
論文 参考訳（メタデータ） (2021-07-03T10:29:34Z) - Preprint: Norm Loss: An efficient yet effective regularization method
for deep neural networks [7.214681039134488]
斜め多様体に基づく重み付き軟規則化法を提案する。
本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
論文 参考訳（メタデータ） (2021-03-11T10:24:49Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳（メタデータ） (2020-12-13T03:41:52Z) - Reintroducing Straight-Through Estimators as Principled Methods for
Stochastic Binary Networks [85.94999581306827]
2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。
多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。
同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
論文 参考訳（メタデータ） (2020-06-11T23:58:18Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - A Bayesian approach for initialization of weights in backpropagation
neural net with application to character recognition [0.9137554315375919]
距離論的なアプローチは、重みを互いに依存する正規変数によってモデル化された測定として考えるために用いられる。
提案手法は,バックプロパゲーション学習アルゴリズムの収束率の向上を示す。
論文 参考訳（メタデータ） (2020-04-04T06:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。