論文の概要: Compositional ADAM: An Adaptive Compositional Solver

• arxiv url: http://arxiv.org/abs/2002.03755v2
• Date: Fri, 24 Apr 2020 15:10:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 08:29:50.308547
• Title: Compositional ADAM: An Adaptive Compositional Solver
• Title（参考訳）: コンポジション型ADAM:適応型コンポジション型ソルバー
• Authors: Rasul Tutunov and Minne Li and Alexander I. Cowen-Rivers and Jun Wang and Haitham Bou-Ammar
• Abstract要約: C-ADAMは、期待値の非線形機能ネストを含む構成問題に対する最初の適応的解法である。 C-ADAM は $mathcalO(delta-2.25)$ の定常点に収束し、$delta$ は精度パラメータであることを示す。
• 参考スコア（独自算出の注目度）: 69.31447856853833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present C-ADAM, the first adaptive solver for compositional problems involving a non-linear functional nesting of expected values. We proof that C-ADAM converges to a stationary point in $\mathcal{O}(\delta^{-2.25})$ with $\delta$ being a precision parameter. Moreover, we demonstrate the importance of our results by bridging, for the first time, model-agnostic meta-learning (MAML) and compositional optimisation showing fastest known rates for deep network adaptation to-date. Finally, we validate our findings in a set of experiments from portfolio optimisation and meta-learning. Our results manifest significant sample complexity reductions compared to both standard and compositional solvers.
• Abstract（参考訳）: 本稿では,期待値の非線形関数ネストを含む構成問題の適応解法として初めてC-ADAMを提案する。 C-ADAM は $\mathcal{O}(\delta^{-2.25})$ の定常点に収束し、$\delta$ は精度パラメータであることを示す。 さらに, モデル非依存型メタラーニング(maml)と構成最適化により, ディープネットワークの適応度がこれまでで最速であることを示すことで, 結果の重要性を実証した。 最後に,ポートフォリオ最適化とメタラーニングの実験から得られた知見を検証する。 その結果, 標準解法および構成解法と比較して, 試料の複雑性が著しく低下した。

関連論文リスト

• Covariates-Adjusted Mixed-Membership Estimation: A Novel Network Model with Optimal Guarantees [3.6936359356095454]
  本稿では,ネットワークにおける推定の問題に対処し,ネットワークから潜在混合メンバーシップ構造を効率的に推定することを目的とする。 本稿では,情報とノード共メンバシップモデルとの類似性の両方を取り入れた新しいモデルを提案する。 提案手法は類似度行列とフロベニウスノルムのエントリー損失の両方に対して最適精度が得られることを示す。
  論文  参考訳（メタデータ） (2025-02-10T16:56:00Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
  本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。 合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-26T15:18:22Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Rényi Divergence Deep Mutual Learning [3.682680183777648]
  本稿では,Deep Learning Mutual (DML) を,単純かつ効果的な計算パラダイムとして再考する。 より柔軟で限定的なKL発散の代わりにR'enyi発散を提案する。 我々の経験的結果は、DMLとR'enyiの発散を併用した利点を示し、モデル一般化のさらなる改善につながった。
  論文  参考訳（メタデータ） (2022-09-13T04:58:35Z)
• Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
  興味のある変数に不変な学習表現に対して,損失のクラスを導入する。 外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
  論文  参考訳（メタデータ） (2021-02-16T18:29:28Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。