論文の概要: Compositional ADAM: An Adaptive Compositional Solver
- arxiv url: http://arxiv.org/abs/2002.03755v2
- Date: Fri, 24 Apr 2020 15:10:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 08:29:50.308547
- Title: Compositional ADAM: An Adaptive Compositional Solver
- Title(参考訳): コンポジション型ADAM:適応型コンポジション型ソルバー
- Authors: Rasul Tutunov and Minne Li and Alexander I. Cowen-Rivers and Jun Wang
and Haitham Bou-Ammar
- Abstract要約: C-ADAMは、期待値の非線形機能ネストを含む構成問題に対する最初の適応的解法である。
C-ADAM は $mathcalO(delta-2.25)$ の定常点に収束し、$delta$ は精度パラメータであることを示す。
- 参考スコア(独自算出の注目度): 69.31447856853833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present C-ADAM, the first adaptive solver for compositional
problems involving a non-linear functional nesting of expected values. We proof
that C-ADAM converges to a stationary point in $\mathcal{O}(\delta^{-2.25})$
with $\delta$ being a precision parameter. Moreover, we demonstrate the
importance of our results by bridging, for the first time, model-agnostic
meta-learning (MAML) and compositional optimisation showing fastest known rates
for deep network adaptation to-date. Finally, we validate our findings in a set
of experiments from portfolio optimisation and meta-learning. Our results
manifest significant sample complexity reductions compared to both standard and
compositional solvers.
- Abstract(参考訳): 本稿では,期待値の非線形関数ネストを含む構成問題の適応解法として初めてC-ADAMを提案する。
C-ADAM は $\mathcal{O}(\delta^{-2.25})$ の定常点に収束し、$\delta$ は精度パラメータであることを示す。
さらに, モデル非依存型メタラーニング(maml)と構成最適化により, ディープネットワークの適応度がこれまでで最速であることを示すことで, 結果の重要性を実証した。
最後に,ポートフォリオ最適化とメタラーニングの実験から得られた知見を検証する。
その結果, 標準解法および構成解法と比較して, 試料の複雑性が著しく低下した。
関連論文リスト
- An Inexact Halpern Iteration with Application to Distributionally Robust
Optimization [9.529117276663431]
決定論的および決定論的収束設定におけるスキームの不正確な変種について検討する。
不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。
論文 参考訳(メタデータ) (2024-02-08T20:12:47Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳(メタデータ) (2023-08-31T14:16:30Z) - R\'{e}nyi Divergence Deep Mutual Learning [10.357597530261664]
本稿では,Deep Learning Mutual (DML) を,単純かつ効果的な計算パラダイムとして再考する。
より柔軟で限定的なKL発散の代わりにR'enyi発散を提案する。
我々の経験的結果は、DMLとR'enyiの発散を併用した利点を示し、モデル一般化のさらなる改善につながった。
論文 参考訳(メタデータ) (2022-09-13T04:58:35Z) - Adaptive Meta-learner via Gradient Similarity for Few-shot Text
Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。
いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文 参考訳(メタデータ) (2022-09-10T16:14:53Z) - Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
興味のある変数に不変な学習表現に対して,損失のクラスを導入する。
外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
論文 参考訳(メタデータ) (2021-02-16T18:29:28Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳(メタデータ) (2021-02-07T20:53:23Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Convergence of Meta-Learning with Task-Specific Adaptation over Partial
Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。
本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文 参考訳(メタデータ) (2020-06-16T19:57:48Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Iterative Averaging in the Quest for Best Test Error [22.987387623516614]
本稿では,ガウス過程摂動モデルを用いて,反復平均化の一般化性能の増大を解析・説明する。
我々は理論結果から最新の3つの現象を導出する。
CIFAR-10/100, ImageNet, Penn Treebank のデータセットにアプローチの有効性を示す。
論文 参考訳(メタデータ) (2020-03-02T23:27:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。