論文の概要: Mirror descent of Hopfield model
- arxiv url: http://arxiv.org/abs/2211.15880v2
- Date: Tue, 9 May 2023 05:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 20:26:54.170988
- Title: Mirror descent of Hopfield model
- Title(参考訳): ホップフィールドモデルのミラー降下
- Authors: Hyungjoon Soh, Dongyeob Kim, Juno Hwang, Junghyo Jo
- Abstract要約: ニューラルネットワークのパラメータを初期化するためにミラー降下を利用する新しい手法を提案する。
ニューラルネットワークのプロトタイプとしてホップフィールドモデルを使用することで、ミラー降下はモデルを大幅に改善し、効果的にモデルを訓練することができる。
- 参考スコア(独自算出の注目度): 0.09176056742068815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mirror descent is an elegant optimization technique that leverages a dual
space of parametric models to perform gradient descent. While originally
developed for convex optimization, it has increasingly been applied in the
field of machine learning. In this study, we propose a novel approach for
utilizing mirror descent to initialize the parameters of neural networks.
Specifically, we demonstrate that by using the Hopfield model as a prototype
for neural networks, mirror descent can effectively train the model with
significantly improved performance compared to traditional gradient descent
methods that rely on random parameter initialization. Our findings highlight
the potential of mirror descent as a promising initialization technique for
enhancing the optimization of machine learning models.
- Abstract(参考訳): ミラー降下はパラメトリックモデルの双対空間を利用して勾配降下を行うエレガントな最適化手法である。
もともと凸最適化のために開発されたが、機械学習の分野ではますます応用されている。
本研究では,ニューラルネットワークのパラメータを初期化するためにミラー降下を利用する新しい手法を提案する。
具体的には、ニューラルネットワークのプロトタイプとしてhopfieldモデルを使用することで、ランダムパラメータの初期化に依存する従来の勾配降下法に比べて、ミラー降下が大幅に改善されたモデルを効果的に訓練できることを実証する。
本研究は,機械学習モデルの最適化に期待できる初期化手法として,ミラー降下の可能性を強調した。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Automatic Parameterization for Aerodynamic Shape Optimization via Deep
Geometric Learning [60.69217130006758]
空力形状最適化のための形状パラメータ化を完全に自動化する2つの深層学習モデルを提案する。
どちらのモデルも、深い幾何学的学習を通じてパラメータ化し、人間の事前知識を学習された幾何学的パターンに埋め込むように最適化されている。
2次元翼の形状最適化実験を行い、2つのモデルに適用可能なシナリオについて論じる。
論文 参考訳(メタデータ) (2023-05-03T13:45:40Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳(メタデータ) (2022-10-12T06:49:16Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-05-30T16:55:59Z) - Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。
われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。
LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文 参考訳(メタデータ) (2022-05-12T17:55:51Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳(メタデータ) (2020-09-29T07:32:30Z) - Enhanced data efficiency using deep neural networks and Gaussian
processes for aerodynamic design optimization [0.0]
随伴型最適化法は空気力学的形状設計において魅力的である。
複数の最適化問題が解決されている場合、それらは違法に高価になる可能性がある。
本稿では,高コストな随伴解法に取って代わる機械学習を実現するサロゲートベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-15T15:09:21Z) - Spherical Perspective on Learning with Normalization Layers [28.10737477667422]
正規化層(NL)は現代のディープラーニングアーキテクチャで広く使われている。
本稿では,NLを用いたニューラルネットワークの最適化を幾何学的観点から研究するための球面フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-23T23:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。