論文の概要: On Compression Principle and Bayesian Optimization for Neural Networks
- arxiv url: http://arxiv.org/abs/2006.12714v1
- Date: Tue, 23 Jun 2020 03:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 22:00:44.099782
- Title: On Compression Principle and Bayesian Optimization for Neural Networks
- Title（参考訳）: ニューラルネットワークの圧縮原理とベイズ最適化について
- Authors: Michael Tetelman
- Abstract要約: 本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。
圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding methods for making generalizable predictions is a fundamental problem
of machine learning. By looking into similarities between the prediction
problem for unknown data and the lossless compression we have found an approach
that gives a solution. In this paper we propose a compression principle that
states that an optimal predictive model is the one that minimizes a total
compressed message length of all data and model definition while guarantees
decodability. Following the compression principle we use Bayesian approach to
build probabilistic models of data and network definitions. A method to
approximate Bayesian integrals using a sequence of variational approximations
is implemented as an optimizer for hyper-parameters: Bayesian Stochastic
Gradient Descent (BSGD). Training with BSGD is completely defined by setting
only three parameters: number of epochs, the size of the dataset and the size
of the minibatch, which define a learning rate and a number of iterations. We
show that dropout can be used for a continuous dimensionality reduction that
allows to find optimal network dimensions as required by the compression
principle.
- Abstract（参考訳）: 一般化可能な予測方法を見つけることは、機械学習の根本的な問題である。
未知データの予測問題と損失のない圧縮の類似性を調べることで、解を与えるアプローチを発見した。
本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを表現できる圧縮原理を提案する。
圧縮原理に従い、ベイズ的手法を用いてデータとネットワーク定義の確率モデルを構築する。
変分近似の列を用いてベイズ積分を近似する方法は、超パラメータの最適化器として実装されている:ベイズ確率勾配降下 (bsgd)。
BSGDを使用したトレーニングは、エポックの数、データセットのサイズ、ミニバッチのサイズという3つのパラメータだけを設定することで完全に定義されている。
圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
関連論文リスト
- Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。
ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。
本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:40:58Z) - Sparse Bayesian Generative Modeling for Compressive Sensing [8.666730973498625]
この研究は、圧縮センシング(CS)における基本的な線形逆問題に、新しいタイプの正規化生成先行を導入することで対処する。
提案手法は変分推論の概念を用いて理論的に支援し,異なる種類の圧縮可能な信号を用いて実験的に検証する。
論文 参考訳（メタデータ） (2024-11-14T14:37:47Z) - Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。
VBMFは各層における重みテンソルのランクを推定するために用いられる。
その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
論文 参考訳（メタデータ） (2024-08-29T06:40:34Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Unified Multivariate Gaussian Mixture for Efficient Neural Image
Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。
ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。
当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文 参考訳（メタデータ） (2022-03-21T11:44:17Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。
この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。
予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文 参考訳（メタデータ） (2021-10-12T07:44:18Z) - Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。
これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
論文 参考訳（メタデータ） (2020-08-19T08:03:09Z) - Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。
標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。
本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
論文 参考訳（メタデータ） (2020-04-15T20:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。