Fugu-MT 論文翻訳(概要): Mirror descent of Hopfield model

論文の概要: Mirror descent of Hopfield model

arxiv url: http://arxiv.org/abs/2211.15880v1
Date: Tue, 29 Nov 2022 02:33:56 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 17:41:37.560835
Title: Mirror descent of Hopfield model
Title（参考訳）: ホップフィールドモデルのミラー降下
Authors: Hyungjoon Soh, Dongyeob Kim, Juno Hwang, Junghyo Jo
Abstract要約: ミラー降下はパラメトリックモデルの双対空間を利用する勾配降下法である。我々は、ニューラルネットワークのプロトタイプとしてホップフィールドモデルを採用し、ミラー降下が通常の勾配降下よりも効果的にモデルを訓練できることを実証した。
参考スコア（独自算出の注目度）: 0.09176056742068815
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mirror descent is a gradient descent method that uses a dual space of parametric models. The great idea has been developed in convex optimization, but not yet widely applied in machine learning. In this study, we provide a possible way that the mirror descent can help data-driven parameter initialization of neural networks. We adopt the Hopfield model as a prototype of neural networks, we demonstrate that the mirror descent can train the model more effectively than the usual gradient descent with random parameter initialization.
Abstract（参考訳）: ミラー降下はパラメトリックモデルの双対空間を利用する勾配降下法である。この素晴らしいアイデアは凸最適化で開発されているが、機械学習にはまだ広く適用されていない。本研究では,ミラー降下がニューラルネットワークのデータ駆動パラメータ初期化に役立つ可能性を示す。本稿では,ニューラルネットワークのプロトタイプとしてhopfieldモデルを採用し,ミラー降下がランダムパラメータ初期化を伴う通常の勾配降下よりも効果的にモデルを訓練できることを実証する。

関連論文リスト

Bayesian Inverse Graphics for Few-Shot Concept Learning [3.475273727432576]
最小限のデータのみを用いて学習するベイズ的知覚モデルを提案する。本稿では、この表現が、数ショットの分類や推定などの下流タスクにどのように使用できるかを示す。
論文参考訳（メタデータ） (2024-09-12T18:30:41Z)
Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文参考訳（メタデータ） (2024-05-30T03:57:29Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Automatic Parameterization for Aerodynamic Shape Optimization via Deep Geometric Learning [60.69217130006758]
空力形状最適化のための形状パラメータ化を完全に自動化する2つの深層学習モデルを提案する。どちらのモデルも、深い幾何学的学習を通じてパラメータ化し、人間の事前知識を学習された幾何学的パターンに埋め込むように最適化されている。 2次元翼の形状最適化実験を行い、2つのモデルに適用可能なシナリオについて論じる。
論文参考訳（メタデータ） (2023-05-03T13:45:40Z)
Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文参考訳（メタデータ） (2022-05-30T16:55:59Z)
Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文参考訳（メタデータ） (2022-05-12T17:55:51Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文参考訳（メタデータ） (2020-09-29T07:32:30Z)
Enhanced data efficiency using deep neural networks and Gaussian processes for aerodynamic design optimization [0.0]
随伴型最適化法は空気力学的形状設計において魅力的である。複数の最適化問題が解決されている場合、それらは違法に高価になる可能性がある。本稿では,高コストな随伴解法に取って代わる機械学習を実現するサロゲートベースのフレームワークを提案する。
論文参考訳（メタデータ） (2020-08-15T15:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。