論文の概要: Submodular Meta-Learning

• arxiv url: http://arxiv.org/abs/2007.05852v2
• Date: Sun, 10 Jan 2021 00:39:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 13:28:48.231795
• Title: Submodular Meta-Learning
• Title（参考訳）: サブモジュールメタラーニング
• Authors: Arman Adibi, Aryan Mokhtari, Hamed Hassani
• Abstract要約: 将来的なタスクのパフォーマンス向上のために,メタラーニングフレームワークの個別版を導入する。 我々のアプローチは、事前データ、すなわち、以前に訪れたタスクを使用して、適切な初期ソリューションセットをトレーニングすることを目的としている。 我々のフレームワークは、性能損失を小さく抑えながら、新しいタスクを解く際に、計算の複雑さを著しく低減させることを示した。
• 参考スコア（独自算出の注目度）: 43.15332631500541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a discrete variant of the meta-learning framework. Meta-learning aims at exploiting prior experience and data to improve performance on future tasks. By now, there exist numerous formulations for meta-learning in the continuous domain. Notably, the Model-Agnostic Meta-Learning (MAML) formulation views each task as a continuous optimization problem and based on prior data learns a suitable initialization that can be adapted to new, unseen tasks after a few simple gradient updates. Motivated by this terminology, we propose a novel meta-learning framework in the discrete domain where each task is equivalent to maximizing a set function under a cardinality constraint. Our approach aims at using prior data, i.e., previously visited tasks, to train a proper initial solution set that can be quickly adapted to a new task at a relatively low computational cost. This approach leads to (i) a personalized solution for each individual task, and (ii) significantly reduced computational cost at test time compared to the case where the solution is fully optimized once the new task is revealed. The training procedure is performed by solving a challenging discrete optimization problem for which we present deterministic and randomized algorithms. In the case where the tasks are monotone and submodular, we show strong theoretical guarantees for our proposed methods even though the training objective may not be submodular. We also demonstrate the effectiveness of our framework on two real-world problem instances where we observe that our methods lead to a significant reduction in computational complexity in solving the new tasks while incurring a small performance loss compared to when the tasks are fully optimized.
• Abstract（参考訳）: 本稿では,メタラーニングフレームワークの離散型を提案する。 メタラーニングは、将来のタスクのパフォーマンスを改善するために、事前の経験とデータを活用することを目的としている。 現在までに、連続したドメインにメタ学習のための多くの定式化が存在する。 特に、Model-Agnostic Meta-Learning (MAML) の定式化では、各タスクを連続的な最適化問題と見なし、いくつかの単純な勾配更新の後、新しい未確認タスクに適応できる適切な初期化を学ぶ。 この用語に動機付け,各タスクが濃度制約の下で設定関数の最大化に等価である離散領域における新しいメタラーニングフレームワークを提案する。 提案手法は,事前データ,すなわち以前に訪れたタスクを用いて,比較的低い計算コストで新しいタスクに迅速に適応可能な適切な初期解集合を訓練することを目的とする。 このアプローチは (i)個々のタスクごとにパーソナライズされたソリューション、及び (II) 新たなタスクが明らかになれば解が完全に最適化される場合と比較して, テスト時の計算コストが大幅に削減される。 本手法は,決定論的かつランダム化されたアルゴリズムを提示する難解な離散最適化問題の解法である。 タスクが単調で部分モジュラーである場合,トレーニング対象が部分モジュラーでない場合でも,提案手法の理論的保証が強いことを示す。 また,実世界の2つの問題インスタンスに対するフレームワークの有効性を実証し,本手法がタスクが完全に最適化された場合に比べて少ない性能損失を伴いながら,新しいタスクを解決する際の計算量を大幅に削減することを示した。

関連論文リスト

• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• Sample-Efficient Multi-Objective Learning via Generalized Policy Improvement Prioritization [8.836422771217084]
  マルチオブジェクト強化学習(MORL)アルゴリズムは、エージェントが異なる好みを持つ可能性のあるシーケンシャルな決定問題に対処する。 本稿では、一般化政策改善(GPI)を用いて、原則的、正式に派生した優先順位付けスキームを定義する新しいアルゴリズムを提案する。 実験により,本手法は多目的タスクの挑戦において,最先端のMORLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-18T20:54:40Z)
• Task Weighting in Meta-learning with Trajectory Optimisation [37.32107678838193]
  本稿では,メタ学習のためのタスク重み付けアルゴリズムを提案する。 動作と同一のミニバッチ内のタスクの重みを考慮し,タスク重み付けメタ学習問題を軌跡最適化に投入した。 提案手法は,2つの数ショット学習ベンチマークにおいて,手動重み付け法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-04T01:36:09Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Modeling and Optimization Trade-off in Meta-learning [23.381986209234164]
  メタラーニングにおいて、正確なモデリングと容易さのトレードオフを導入し、厳密に定義する。 我々はMAMLを代表的メタラーニングアルゴリズムとして、一般的な非リスク関数と線形回帰のトレードオフを理論的に特徴づける。 また,メタ強化学習ベンチマークのトレードオフを実証的に解決する。
  論文  参考訳（メタデータ） (2020-10-24T15:32:08Z)
• Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
  モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。 本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:21:49Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。