論文の概要: When Does MAML Objective Have Benign Landscape?
- arxiv url: http://arxiv.org/abs/2006.00453v2
- Date: Thu, 10 Dec 2020 19:20:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 12:31:49.448856
- Title: When Does MAML Objective Have Benign Landscape?
- Title(参考訳): MAMLオブジェクトはいつ、ランドスケープに相応しいのか?
- Authors: Igor Molybog and Javad Lavaei
- Abstract要約: 本稿では,モデル非依存メタラーニング(MAML)アルゴリズムの背後にある最適化問題の複雑性について検討する。
本研究の目的は,共通構造を有する逐次的意思決定タスクにおけるMAMLのグローバルコンバージェンスを決定することである。
- 参考スコア(独自算出の注目度): 12.056495277232118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper studies the complexity of the optimization problem behind the
Model-Agnostic Meta-Learning (MAML) algorithm. The goal of the study is to
determine the global convergence of MAML on sequential decision-making tasks
possessing a common structure. We are curious to know when, if at all, the
benign landscape of the underlying tasks results in a benign landscape of the
corresponding MAML objective. For illustration, we analyze the landscape of the
MAML objective on LQR tasks to determine what types of similarities in their
structures enable the algorithm to converge to the globally optimal solution.
- Abstract(参考訳): 本稿では,モデル非依存メタラーニング(MAML)アルゴリズムの背後にある最適化問題の複雑性について検討する。
本研究の目的は,共通構造を有する逐次的意思決定タスクにおけるMAMLのグローバルコンバージェンスを決定することである。
基礎となるタスクの良質なランドスケープが、対応するmamlの目的の良質なランドスケープにいつつながるのか、私たちは知りたいのです。
図示として、LQRタスクにおけるMAML目標のランドスケープを分析し、その構造においてどの種類の類似性がアルゴリズムをグローバルに最適解に収束させるかを決定する。
関連論文リスト
- Understanding the planning of LLM agents: A survey [98.82513390811148]
本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。
各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
論文 参考訳(メタデータ) (2024-02-05T04:25:24Z) - Scalable Mechanism Design for Multi-Agent Path Finding [90.68703851865585]
MAPF (Multi-Agent Path Finding) は、複数のエージェントが特定の目標地点に向かって共有領域を同時に移動するための経路を決定する。
最適解を見つけることは、しばしば計算不可能であり、近似アルゴリズムを用いることが不可欠である。
本稿では,MAPFのスケーラブルな機構設計の問題を紹介し,その対策として3つのメカニズムを提案する。
論文 参考訳(メタデータ) (2024-01-30T14:26:04Z) - MOLE: Digging Tunnels Through Multimodal Multi-Objective Landscapes [0.0]
局所的に効率的な(LE)集合は、しばしば局所探索のトラップと見なされるが、決定空間において孤立されることは滅多にない。
Multi-Objective Gradient Sliding Algorithm (MOGSA)は、これらの重ね合わせを利用するアルゴリズムの概念である。
我々は,MMMOO問題におけるLE集合を効率的にモデル化し,活用できる新しいアルゴリズムであるMulti-Objective Landscape Explorer (MOLE)を提案する。
論文 参考訳(メタデータ) (2022-04-22T17:54:54Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-09T08:47:58Z) - How Does the Task Landscape Affect MAML Performance? [42.27488241647739]
モデル非依存メタラーニング(MAML)は非適応学習(NAL)よりも最適化が難しいことを示す。
簡単なタスクと難しいタスクの混合からなる線形回帰設定でこの問題を解析的に解決する。
また、これらの知見が2層ニューラルネットワークに適用可能であることを示唆する数値的および解析的な結果も提示する。
論文 参考訳(メタデータ) (2020-10-27T23:54:44Z) - Empirical Study on the Benefits of Multiobjectivization for Solving
Single-Objective Problems [0.0]
局所オプティマはしばしばアルゴリズムの進行を防ぎ、深刻な脅威を引き起こす。
マルチオブジェクトの勾配に基づく高度な可視化技術を用いて,出現するマルチオブジェクトの景観の特性を図示し,考察した。
我々は,多目的COCOMOGSAがこれらの特性を利用して局所トラップを克服できることを実証的に示す。
論文 参考訳(メタデータ) (2020-06-25T14:04:37Z) - On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文 参考訳(メタデータ) (2020-06-23T17:33:14Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳(メタデータ) (2020-02-18T19:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。