Fugu-MT 論文翻訳(概要): Scalable Nested Optimization for Deep Learning

論文の概要: Scalable Nested Optimization for Deep Learning

arxiv url: http://arxiv.org/abs/2407.01526v1
Date: Mon, 1 Jul 2024 17:59:41 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 20:11:58.693336
Title: Scalable Nested Optimization for Deep Learning
Title（参考訳）: ディープラーニングのためのスケーラブルネステッド最適化
Authors: Jonathan Lorraine,
Abstract要約: そこでは、パラメータのサブセットがそれぞれの内部にネストされた異なる目的に対して更新される2レベルまたはネストされた最適化があります。この論文では、ディープラーニングのセットアップにスケールするネスト最適化のためのツールを構築します。
参考スコア（独自算出の注目度）: 1.6317061277457001
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Gradient-based optimization has been critical to the success of machine learning, updating a single set of parameters to minimize a single loss. A growing number of applications rely on a generalization of this, where we have a bilevel or nested optimization of which subsets of parameters update on different objectives nested inside each other. We focus on motivating examples of hyperparameter optimization and generative adversarial networks. However, naively applying classical methods often fails when we look at solving these nested problems on a large scale. In this thesis, we build tools for nested optimization that scale to deep learning setups.
Abstract（参考訳）: 勾配ベースの最適化は、単一の損失を最小限に抑えるために、単一のパラメータセットを更新する、機械学習の成功に不可欠である。そこでは、パラメータのサブセットがそれぞれの内部にネストされた異なる目的に対して更新される2レベルまたはネストされた最適化があります。本稿では,ハイパーパラメータ最適化と生成対向ネットワークの具体例に焦点をあてる。しかし、これらのネストされた問題を大規模に解決しようとすると、古典的な手法をナビゲート的に適用することはしばしば失敗する。この論文では、ディープラーニングのセットアップにスケールするネスト最適化のためのツールを構築します。

関連論文リスト

Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文参考訳（メタデータ） (2023-12-28T23:15:18Z)
Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文参考訳（メタデータ） (2023-10-27T23:24:37Z)
A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-05-17T07:48:54Z)
A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
論文参考訳（メタデータ） (2022-11-26T09:06:15Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
Teaching Networks to Solve Optimization Problems [13.803078209630444]
反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
論文参考訳（メタデータ） (2022-02-08T19:13:13Z)
Tutorial on amortized optimization [13.60842910539914]
このチュートリアルでは、これらの進歩の背後にある償却最適化の基礎について紹介する。変分推論、スパース符号化、勾配に基づくメタラーニング、制御、強化学習、凸最適化、最適輸送、深い平衡ネットワークにおけるそれらの応用を概説する。
論文参考訳（メタデータ） (2022-02-01T18:58:33Z)
Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。この2つの設定の間には自然なシナジーがあることが示されています。この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文参考訳（メタデータ） (2021-11-25T19:59:33Z)
Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文参考訳（メタデータ） (2021-03-23T20:46:20Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。