論文の概要: Training Neural Networks using SAT solvers
- arxiv url: http://arxiv.org/abs/2206.04833v1
- Date: Fri, 10 Jun 2022 01:31:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 15:03:01.605549
- Title: Training Neural Networks using SAT solvers
- Title（参考訳）: SATソルバを用いたニューラルネットワークの学習
- Authors: Subham S. Sahoo
- Abstract要約: 本稿では,SATソルバを用いてニューラルネットワークのトレーニングを行うグローバル最適化手法を提案する。
実験では,パリティ学習などのタスクにおいて,ADAMオプティマイザに対するアルゴリズムの有効性を示す。
- 参考スコア（独自算出の注目度）: 1.0152838128195465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an algorithm to explore the global optimization method, using SAT
solvers, for training a neural net. Deep Neural Networks have achieved great
feats in tasks like-image recognition, speech recognition, etc. Much of their
success can be attributed to the gradient-based optimisation methods, which
scale well to huge datasets while still giving solutions, better than any other
existing methods. However, there exist learning problems like the parity
function and the Fast Fourier Transform, where a neural network using
gradient-based optimisation algorithm can not capture the underlying structure
of the learning task properly. Thus, exploring global optimisation methods is
of utmost interest as the gradient-based methods get stuck in local optima. In
the experiments, we demonstrate the effectiveness of our algorithm against the
ADAM optimiser in certain tasks like parity learning. However, in the case of
image classification on the MNIST Dataset, the performance of our algorithm was
less than satisfactory. We further discuss the role of the size of the training
dataset and the hyper-parameter settings in keeping things scalable for a SAT
solver.
- Abstract（参考訳）: ニューラルネットワークの学習にsatソルバを用いた大域的最適化法を探索するアルゴリズムを提案する。
ディープニューラルネットワークは、画像認識や音声認識などのタスクで大きな成果を上げています。
彼らの成功の大部分は、既存のどの方法よりも優れたソリューションを提供しながら、巨大なデータセットにうまくスケールする勾配ベースの最適化方法による。
しかし、パリティ関数や高速フーリエ変換のような学習問題があり、勾配に基づく最適化アルゴリズムを用いたニューラルネットワークでは、学習タスクの基盤構造を適切に把握できない。
したがって、局所最適化では勾配に基づく手法が立ち往生するため、グローバル最適化手法の探索は最も興味深い。
実験では,パリティ学習などのタスクにおいて,ADAMオプティマイザに対するアルゴリズムの有効性を示す。
しかし,MNISTデータセット上での画像分類を行う場合,本アルゴリズムの性能は不十分であった。
さらに、SATソルバのスケーラビリティを維持する上で、トレーニングデータセットのサイズとハイパーパラメータ設定の役割についても論じる。
関連論文リスト
- Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。
提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。
ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
論文 参考訳（メタデータ） (2024-02-20T01:47:25Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳（メタデータ） (2023-07-07T15:03:42Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-31T18:35:10Z) - A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。
勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。
CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
論文 参考訳（メタデータ） (2021-09-12T20:24:11Z) - A Sparse Structure Learning Algorithm for Bayesian Network
Identification from Discrete High-Dimensional Data [0.40611352512781856]
本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。
本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。
具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
論文 参考訳（メタデータ） (2021-08-21T12:21:01Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳（メタデータ） (2021-06-25T17:45:00Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-03-10T03:46:25Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。