論文の概要: Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training
- arxiv url: http://arxiv.org/abs/2206.07875v1
- Date: Thu, 16 Jun 2022 01:50:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-18 14:26:04.899736
- Title: Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training
- Title（参考訳）: 訓練とハイパートレーニングの必須収束解析による最適化学習
- Authors: Risheng Liu, Xuan Liu, Shangzhi Zeng, Jin Zhang and Yixuan Zhang
- Abstract要約: 固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
- 参考スコア（独自算出の注目度）: 52.39882976848064
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recently, Optimization-Derived Learning (ODL) has attracted attention from
learning and vision areas, which designs learning models from the perspective
of optimization. However, previous ODL approaches regard the training and
hyper-training procedures as two separated stages, meaning that the
hyper-training variables have to be fixed during the training process, and thus
it is also impossible to simultaneously obtain the convergence of training and
hyper-training variables. In this work, we design a Generalized
Krasnoselskii-Mann (GKM) scheme based on fixed-point iterations as our
fundamental ODL module, which unifies existing ODL methods as special cases.
Under the GKM scheme, a Bilevel Meta Optimization (BMO) algorithmic framework
is constructed to solve the optimal training and hyper-training variables
together. We rigorously prove the essential joint convergence of the
fixed-point iteration for training and the process of optimizing
hyper-parameters for hyper-training, both on the approximation quality, and on
the stationary analysis. Experiments demonstrate the efficiency of BMO with
competitive performance on sparse coding and real-world applications such as
image deconvolution and rain streak removal.
- Abstract（参考訳）: 近年,ODL(Optimization-Derived Learning)は,最適化の観点から学習モデルを設計する学習領域や視覚領域から注目を集めている。
しかし、従来のodlアプローチでは、トレーニングとハイパートレーニングの手順を2つの段階に分けているため、トレーニングプロセス中にハイパートレーニング変数を固定する必要があるため、トレーニングとハイパートレーニング変数の収束を同時に取得することも不可能である。
本研究では,固定点反復に基づく一般化クラスノセルスキーマン(GKM)スキームを基本ODLモジュールとして設計し,既存のODLメソッドを特殊なケースとして統一する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
我々は,固定点反復の訓練における本質的な合同収束とハイパートレーニングのためのハイパーパラメータの最適化過程を,近似品質と定常解析の両方に基づいて厳密に証明する。
画像デコンボリューションやレインストリーク除去といった,スパースコーディングや実世界のアプリケーション上での競合性能によるBMOの効率性を示す実験。
関連論文リスト
- A Multi-Level Framework for Accelerating Training Transformer Models [5.268960238774481]
大規模ディープラーニングモデルの訓練は、コンピューティングパワーに対する前例のない需要をもたらしている。
本稿では,Coalescing, De-Coalescing, Interpolation に基づく,加速度のトレーニングのためのマルチレベルフレームワークを提案する。
提案手法は,BERT/GPT-Baseモデルのトレーニングにおいて約20%,BERT-Largeモデルのトレーニングにおいて最大51.6%のコスト削減を実現する。
論文 参考訳（メタデータ） (2024-04-07T03:04:34Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel
Optimization [34.24884427152513]
双レベル最適化(BiERL)による一般的なメタERLフレームワークを提案する。
我々は、内部レベルの進化した経験を情報的人口表現に組み込むエレガントなメタレベルアーキテクチャを設計する。
我々は MuJoCo と Box2D タスクの広範な実験を行い、一般的なフレームワークとして BiERL が様々なベースラインを上回り、ERL アルゴリズムの多様性の学習性能を一貫して向上することを検証する。
論文 参考訳（メタデータ） (2023-08-01T09:31:51Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2023-02-11T03:35:13Z) - Self-Supervised Primal-Dual Learning for Constrained Optimization [19.965556179096385]
本稿では,制約付き最適化問題の最適解を直接近似する機械学習モデルの訓練方法を検討する。
プリマル・デュアル・ラーニング(PDL, Primal-Dual Learning)は,事前解決した一連のインスタンスや,学習と推論のための最適化解法を必要としない自己指導型トレーニング手法である。
論文 参考訳（メタデータ） (2022-08-18T20:07:10Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳（メタデータ） (2022-07-14T22:46:43Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Multi-level Training and Bayesian Optimization for Economical
Hyperparameter Optimization [12.92634461859467]
本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。
光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。
このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
論文 参考訳（メタデータ） (2020-07-20T09:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。