Fugu-MT 論文翻訳(概要): Learned Optimizers for Analytic Continuation

論文の概要: Learned Optimizers for Analytic Continuation

arxiv url: http://arxiv.org/abs/2107.13265v1
Date: Wed, 28 Jul 2021 10:57:32 GMT
ステータス: 処理完了
システム内更新日: 2021-07-29 20:12:13.878079
Title: Learned Optimizers for Analytic Continuation
Title（参考訳）: 解析継続のための学習最適化
Authors: Dongchen Huang and Yi-feng Yang
Abstract要約: 本稿では,凸最適化によるニューラルネットワーク手法を提案する。トレーニングの後、学習したサロゲートは、低コストで高品質のソリューションを提供することができる。提案手法は,大規模事前学習により,他の高次元逆問題にも容易に拡張することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Traditional maximum entropy and sparsity-based algorithms for analytic continuation often suffer from the ill-posed kernel matrix or demand tremendous computation time for parameter tuning. Here we propose a neural network method by convex optimization and replace the ill-posed inverse problem by a sequence of well-conditioned surrogate problems. After training, the learned optimizers are able to give a solution of high quality with low time cost and achieve higher parameter efficiency than heuristic full-connected networks. The output can also be used as a neural default model to improve the maximum entropy for better performance. Our methods may be easily extended to other high-dimensional inverse problems via large-scale pretraining.
Abstract（参考訳）: 解析継続のための従来の最大エントロピーとスパーシティに基づくアルゴリズムは、しばしば不適切なカーネル行列に悩まされる。本稿では,凸最適化によるニューラルネットワークの手法を提案する。学習したオプティマイザは、トレーニング後、低コストで高品質なソリューションを提供し、ヒューリスティックな全接続ネットワークよりも高いパラメータ効率を達成することができる。出力は、パフォーマンス向上のために最大エントロピーを改善するニューラルネットワークデフォルトモデルとしても使用できる。本手法は大規模事前学習によって他の高次元逆問題にも容易に拡張できる。

関連論文リスト

Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks [2.1046873879077794]
学習アルゴリズムのハイパーパラメータ最適化のためのクロスエントロピー最適化法を提案する。提案手法は,ディープラーニングにおける他の最適化問題にも適用可能である。
論文参考訳（メタデータ） (2024-09-14T00:39:37Z)
Self-Supervised Learning of Iterative Solvers for Constrained Optimization [0.0]
制約付き最適化のための学習型反復解法を提案する。解法を特定のパラメトリック最適化問題にカスタマイズすることで、非常に高速で正確な解を得ることができる。最適性のKarush-Kuhn-Tucker条件に基づく新しい損失関数を導入し、両ニューラルネットワークの完全な自己教師付きトレーニングを可能にする。
論文参考訳（メタデータ） (2024-09-12T14:17:23Z)
Physics Informed Piecewise Linear Neural Networks for Process Optimization [0.0]
ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
論文参考訳（メタデータ） (2023-02-02T10:14:54Z)
Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文参考訳（メタデータ） (2023-01-28T01:50:42Z)
Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。この2つの設定の間には自然なシナジーがあることが示されています。この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文参考訳（メタデータ） (2021-11-25T19:59:33Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
論文参考訳（メタデータ） (2020-11-05T14:57:16Z)
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks [14.380314061763508]
反復代理モデル最適化(ISMO)と呼ばれる新しい能動学習アルゴリズムを提案する。このアルゴリズムはディープニューラルネットワークに基づいており、その重要な特徴は、ディープニューラルネットワークと基礎となる標準最適化アルゴリズムの間のフィードバックループを通じて、トレーニングデータの反復的な選択である。
論文参考訳（メタデータ） (2020-08-13T07:31:07Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。