論文の概要: Multi-Objective Meta Learning

• arxiv url: http://arxiv.org/abs/2102.07121v1
• Date: Sun, 14 Feb 2021 10:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 16:10:00.800080
• Title: Multi-Objective Meta Learning
• Title（参考訳）: 多目的メタ学習
• Authors: Feiyang Ye, Baijiong Lin, Zhixiong Yue, Pengxin Guo, Qiao Xiao, Yu Zhang
• Abstract要約: 統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。 提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
• 参考スコア（独自算出の注目度）: 2.9932638148627104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta learning with multiple objectives can be formulated as a Multi-Objective Bi-Level optimization Problem (MOBLP) where the upper-level subproblem is to solve several possible conflicting targets for the meta learner. However, existing studies either apply an inefficient evolutionary algorithm or linearly combine multiple objectives as a single-objective problem with the need to tune combination weights. In this paper, we propose a unified gradient-based Multi-Objective Meta Learning (MOML) framework and devise the first gradient-based optimization algorithm to solve the MOBLP by alternatively solving the lower-level and upper-level subproblems via the gradient descent method and the gradient-based multi-objective optimization method, respectively. Theoretically, we prove the convergence properties of the proposed gradient-based optimization algorithm. Empirically, we show the effectiveness of the proposed MOML framework in several meta learning problems, including few-shot learning, neural architecture search, domain adaptation, and multi-task learning.
• Abstract（参考訳）: 複数の目的を持つメタ学習は、メタ学習者に対するいくつかの競合するターゲットを解決するために、上位レベルのサブプロブレムを、多目的双レベル最適化問題(MOBLP)として定式化することができる。 しかし、既存の研究では、非効率的な進化アルゴリズムを適用するか、複数の目的を単一対象問題として線形に組み合わせ、組み合わせ重みを調整する必要がある。 本稿では,勾配勾配に基づく多目的メタラーニング(MOML)フレームワークを提案するとともに,勾配降下法と勾配に基づく多目的最適化法を用いて,下層および上層サブプロブレムをそれぞれ解いてMOBLPを解くための,最初の勾配に基づく最適化アルゴリズムを考案する。 理論的には,提案する勾配に基づく最適化アルゴリズムの収束特性を実証する。 実験により,数ショット学習,ニューラルアーキテクチャ探索,ドメイン適応,マルチタスク学習など,いくつかのメタ学習問題において提案したMOMLフレームワークの有効性を示す。

関連論文リスト

• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization [7.097069899573992]
  マルチオブジェクト・バイ・レベル最適化(MOBLO)問題について検討する。 既存の勾配に基づくMOBLOアルゴリズムはヘッセン行列を計算する必要がある。 FORUMと呼ばれるMOBLOの高効率な1次多重勾配法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T15:03:37Z)
• Pareto Set Learning for Neural Multi-objective Combinatorial Optimization [6.091096843566857]
  多目的最適化(MOCO)の問題は、現実世界の多くのアプリケーションで見られる。 我々は,与えられたMOCO問題に対するパレート集合全体を,探索手順を伴わずに近似する学習ベースアプローチを開発した。 提案手法は,多目的走行セールスマン問題,マルチコンディショニング車両ルーティング問題,複数クナップサック問題において,ソリューションの品質,速度,モデル効率の面で,他の方法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-29T09:26:22Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
  複数の異なる損失を最小化しなければならない最適化問題を考える。 提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
  論文  参考訳（メタデータ） (2020-07-14T09:50:33Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)
• MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization [15.235261981563523]
  本稿では,多目的最適化問題を解くための多目的深部強化学習法を提案する。 本手法では,各サブプロブレムをアテンションモデルにより解き,入力ノードの構造的特徴とノード的特徴を活用できる。
  論文  参考訳（メタデータ） (2020-02-13T12:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。