論文の概要: A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm

• arxiv url: http://arxiv.org/abs/2310.00708v1
• Date: Sun, 1 Oct 2023 15:54:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 02:30:11.908749
• Title: A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm
• Title（参考訳）: メタ学習パラダイムを堅牢化するシンプルかつ効果的な戦略
• Authors: Qi Wang, Yiqin Lv, Yanghe Feng, Zheng Xie, Jincai Huang
• Abstract要約: 本稿では,ある確率レベルで最悪の適応ケースを制御するための2段階戦略を提案する。 実験結果から,本手法はタスク分布に対するメタラーニングの堅牢性を向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 16.159983226725565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta learning is a promising paradigm to enable skill transfer across tasks. Most previous methods employ the empirical risk minimization principle in optimization. However, the resulting worst fast adaptation to a subset of tasks can be catastrophic in risk-sensitive scenarios. To robustify fast adaptation, this paper optimizes meta learning pipelines from a distributionally robust perspective and meta trains models with the measure of expected tail risk. We take the two-stage strategy as heuristics to solve the robust meta learning problem, controlling the worst fast adaptation cases at a certain probabilistic level. Experimental results show that our simple method can improve the robustness of meta learning to task distributions and reduce the conditional expectation of the worst fast adaptation risk.
• Abstract（参考訳）: メタ学習は、タスク間のスキル転送を可能にする、有望なパラダイムである。 従来の手法のほとんどは、最適化において経験的リスク最小化原理を採用している。 しかし、結果として生じる最悪の迅速なタスクへの適応は、リスクに敏感なシナリオにおいて破滅的なものになる可能性がある。 高速適応を強固にするために,分布的ロバストな視点からメタ学習パイプラインを最適化し,予測されたテールリスクの測定値を用いてモデルトレーニングを行う。 この2段階の戦略をヒューリスティックスとして捉え,ある確率レベルで最悪の適応ケースを制御し,頑健なメタ学習問題を解決する。 実験結果から,メタ学習の課題分散に対する堅牢性を向上し,最悪の適応リスクの条件付き期待を低減できることが示された。

関連論文リスト

• Theoretical Investigations and Practical Enhancements on Tail Task Risk Minimization in Meta Learning [9.399647354904026]
  近年, 高速適応ロバスト性向上におけるテールタスクリスク最小化の有効性について検討している。 我々は、分布的ロバストな戦略を極小最適化問題に還元し、解の概念としてスタックルバーグ均衡を構成し、収束率を推定する。
  論文  参考訳（メタデータ） (2024-10-30T08:07:43Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Stochastic Dynamic Power Dispatch with High Generalization and Few-Shot Adaption via Contextual Meta Graph Reinforcement Learning [7.251065697936476]
  高度に一般化された多段階最適ディスパッチポリシのためのコンテキストメタグラフ強化学習(Meta-GRL)を提案する。 異なるディスパッチシナリオのコンテキストを符号化し,下位ポリシー学習者がコンテキスト特定ディスパッチポリシーを学習している間に,ディスパッチタスク識別の方法を学ぶために,上位メタラーナを提案する。 十分なオフライン学習の後、このアプローチはメタラーナーによって生成された仮説の判断をわずかに上乗せするだけで、目に見えない、未定義のシナリオに迅速に適応することができる。
  論文  参考訳（メタデータ） (2024-01-19T13:58:46Z)
• Model predictive control-based value estimation for efficient reinforcement learning [6.8237783245324035]
  データ駆動型アプローチにより環境をモデル化するモデル予測制御に基づく改良された強化学習手法を設計する。 学習した環境モデルに基づいて、値関数を推定し、ポリシーを最適化する多段階予測を行う。 本手法は, 学習効率の向上, 局所最適値に傾向のある戦略の収束速度の向上, 経験的再生バッファに必要なサンプル容量の削減を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:14Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation [31.471917430653626]
  我々は、最適化問題を非線形の最小二乗形式に再キャストすることで、メタラーニングモデルに対して$textitwell-conditioned$パラメータ空間を強制する原則的な方法が提供されることを実証する。 評価の結果,提案手法は初期適応段階において,制約のない手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-15T02:44:45Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。