Fugu-MT 論文翻訳(概要): Learning to Optimize with Dynamic Mode Decomposition

論文の概要: Learning to Optimize with Dynamic Mode Decomposition

arxiv url: http://arxiv.org/abs/2211.16268v1
Date: Tue, 29 Nov 2022 14:55:59 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 18:01:47.887152
Title: Learning to Optimize with Dynamic Mode Decomposition
Title（参考訳）: 動的モード分解による最適化学習
Authors: Petr \v{S}im\'anek, Daniel Va\v{s}ata, Pavel Kord\'ik
Abstract要約: 本稿では,動的モード分解法を用いて最適化力学に関する情報的特徴を抽出する方法を示す。学習結果から,最適化問題を簡潔に解き明かすことにより,より一般化できることが示される。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Designing faster optimization algorithms is of ever-growing interest. In recent years, learning to learn methods that learn how to optimize demonstrated very encouraging results. Current approaches usually do not effectively include the dynamics of the optimization process during training. They either omit it entirely or only implicitly assume the dynamics of an isolated parameter. In this paper, we show how to utilize the dynamic mode decomposition method for extracting informative features about optimization dynamics. By employing those features, we show that our learned optimizer generalizes much better to unseen optimization problems in short. The improved generalization is illustrated on multiple tasks where training the optimizer on one neural network generalizes to different architectures and distinct datasets.
Abstract（参考訳）: 高速な最適化アルゴリズムの設計は、ますます関心を集めている。近年、最適化方法を学ぶための学習は、非常に励みやすい結果を示している。現在のアプローチは通常、トレーニング中に最適化プロセスのダイナミクスを効果的に含まない。完全に省略するか、単独パラメータのダイナミクスを暗黙的に仮定するだけです。本稿では,最適化ダイナミクスに関する情報抽出に動的モード分解法をどのように利用するかを示す。これらの特徴を利用することで、学習した最適化器が、簡単に見つからない最適化問題を一般化できることが示される。改良された一般化は、ひとつのニューラルネットワーク上でオプティマイザをトレーニングする複数のタスクで説明され、異なるアーキテクチャと異なるデータセットに一般化される。

関連論文リスト

Narrowing the Focus: Learned Optimizers for Pretrained Models [24.685918556547055]
本稿では,一連の基本作業タスクによって提供される更新方向の階層固有の線形結合を学習する手法を提案する。画像上で評価すると、これはAdamのような従来の既成の方法と既存の一般的な学習の両方で著しく優れています。
論文参考訳（メタデータ） (2024-08-17T23:55:19Z)
Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文参考訳（メタデータ） (2024-05-30T06:24:14Z)
Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文参考訳（メタデータ） (2023-12-28T23:15:18Z)
Investigation into the Training Dynamics of Learned Optimizers [0.0]
従来の手作りのアルゴリズムをメタ学習関数に置き換えることで、学習の概念を最適化プロセスを加速させる方法として検討する。本研究は,ネットワークアーキテクチャの対称性と更新パラメータの観点から最適化について検討する。私たちは、それぞれのアプローチが互いの強みからどのように恩恵を受けるかを示すいくつかの重要な洞察を特定します。
論文参考訳（メタデータ） (2023-12-12T11:18:43Z)
A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-05-17T07:48:54Z)
Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文参考訳（メタデータ） (2023-01-28T01:50:42Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases [44.01339030872185]
ブラックボックスは、しばしば、メタトレーニングセットのタスクと異なり、安定性と一般化に苦しむ。最適化アルゴリズムの帰納バイアスと安定性特性について検討し、結果として得られる知見をブラックボックスの帰納バイアスの設計に適用する。私たちはさまざまなニューラルネットワークトレーニングタスクを学び、そこで学んだ技術の現状を上回ります。
論文参考訳（メタデータ） (2022-09-22T17:47:21Z)
Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文参考訳（メタデータ） (2020-11-04T07:12:43Z)
Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文参考訳（メタデータ） (2020-09-23T16:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。