論文の概要: Meta Mirror Descent: Optimiser Learning for Fast Convergence

• arxiv url: http://arxiv.org/abs/2203.02711v1
• Date: Sat, 5 Mar 2022 11:41:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 18:41:42.492281
• Title: Meta Mirror Descent: Optimiser Learning for Fast Convergence
• Title（参考訳）: Meta Mirror Descent: 高速収束のための最適学習
• Authors: Boyan Gao, Henry Gouk, Hae Beom Lee, Timothy M. Hospedales
• Abstract要約: 我々は、勾配降下ではなくミラー降下から始まり、対応するブレグマン発散をメタラーニングする。 このパラダイム内では、後悔の限界を最小化するための新しいメタ学習目標を定式化する。 多くのメタ学習オプティマイザとは異なり、収束と一般化の保証もサポートしており、検証データを必要としない。
• 参考スコア（独自算出の注目度）: 85.98034682899855
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Optimisers are an essential component for training machine learning models, and their design influences learning speed and generalisation. Several studies have attempted to learn more effective gradient-descent optimisers via solving a bi-level optimisation problem where generalisation error is minimised with respect to optimiser parameters. However, most existing optimiser learning methods are intuitively motivated, without clear theoretical support. We take a different perspective starting from mirror descent rather than gradient descent, and meta-learning the corresponding Bregman divergence. Within this paradigm, we formalise a novel meta-learning objective of minimising the regret bound of learning. The resulting framework, termed Meta Mirror Descent (MetaMD), learns to accelerate optimisation speed. Unlike many meta-learned optimisers, it also supports convergence and generalisation guarantees and uniquely does so without requiring validation data. We evaluate our framework on a variety of tasks and architectures in terms of convergence rate and generalisation error and demonstrate strong performance.
• Abstract（参考訳）: optimisersは機械学習モデルのトレーニングに不可欠なコンポーネントであり、その設計は学習のスピードと一般化に影響を与える。 いくつかの研究は、最適化パラメータに関して一般化誤差を最小化する二段階最適化問題を解くことによって、より効果的な勾配偏光オプティマイザの学習を試みた。 しかし、既存のオプティマイザ学習手法の多くは、明確な理論的支援なしに直感的に動機づけられている。 私たちは、勾配降下ではなくミラー降下から始まり、対応するブレグマン分岐のメタラーニングから異なる視点を取る。 このパラダイム内では、後悔の限界を最小化する新しいメタ学習目標を定式化する。 結果、MetaMD(Meta Mirror Descent)と呼ばれるフレームワークは、最適化速度の高速化を学ぶ。 多くのメタ学習オプティマイザとは異なり、コンバージェンスと一般化の保証をサポートし、バリデーションデータを必要としない。 我々は,収束率と一般化誤差の観点から様々なタスクやアーキテクチャの枠組みを評価し,高い性能を示す。

関連論文リスト

• Meta-Value Learning: a General Framework for Learning with Learning Awareness [1.4323566945483497]
  メタバリューによって測定された長期的展望によって共同政策を判断することを提案する。 最適化のメタゲームにQラーニングの形式を適用し、ポリシー更新の連続的な行動空間を明示的に表現する必要がないようにする。
  論文  参考訳（メタデータ） (2023-07-17T21:40:57Z)
• Arbitrary Order Meta-Learning with Simple Population-Based Evolution [1.6114012813668934]
  単純個体群に基づく進化は、任意に高次メタ-パラメータを暗黙的に最適化することを示す。 次に、任意順序メタ学習を可能にする最小の自己参照パラメータ化を導入する。
  論文  参考訳（メタデータ） (2023-03-16T16:55:26Z)
• Optimistic Meta-Gradients [37.11276919046808]
  勾配に基づくメタラーニングと凸オプティマイゼーションの関連について検討する。 メタ学習における楽観性は,Bootstrapped Meta-Gradientsを通じて得られることを示す。
  論文  参考訳（メタデータ） (2023-01-09T10:05:12Z)
• Bootstrapped Meta-Learning [48.017607959109924]
  本稿では,メタ学習者が自らを教えることによって,メタ最適化問題に挑戦するアルゴリズムを提案する。 アルゴリズムはまずメタラーナーからターゲットをブートストラップし、選択した(擬似)測度の下でそのターゲットまでの距離を最小化することでメタラーナーを最適化する。 我々は、Atari ALEベンチマークでモデルフリーエージェントの新たな最先端技術を実現し、数ショットの学習においてMAMLを改善し、我々のアプローチがいかに新しい可能性を開くかを実証する。
  論文  参考訳（メタデータ） (2021-09-09T18:29:05Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)
• Modeling and Optimization Trade-off in Meta-learning [23.381986209234164]
  メタラーニングにおいて、正確なモデリングと容易さのトレードオフを導入し、厳密に定義する。 我々はMAMLを代表的メタラーニングアルゴリズムとして、一般的な非リスク関数と線形回帰のトレードオフを理論的に特徴づける。 また,メタ強化学習ベンチマークのトレードオフを実証的に解決する。
  論文  参考訳（メタデータ） (2020-10-24T15:32:08Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。