論文の概要: Adaptive Submodular Meta-Learning
- arxiv url: http://arxiv.org/abs/2012.06070v2
- Date: Thu, 25 Mar 2021 14:31:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 10:36:36.798096
- Title: Adaptive Submodular Meta-Learning
- Title(参考訳): Adaptive Submodular Meta-Learning
- Authors: Shaojie Tang, Jing Yuan
- Abstract要約: 適応的なサブモジュラーメタラーニング問題を紹介し,研究する。
私たちの問題の入力は、各アイテムが最初に不明なランダムな状態を持つアイテムのセットです。
本研究の目的は,タスクセット上で最高のパフォーマンスを達成する項目群を適応的に選択することである。
- 参考スコア(独自算出の注目度): 28.24164217929491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-Learning has gained increasing attention in the machine learning and
artificial intelligence communities. In this paper, we introduce and study an
adaptive submodular meta-learning problem. The input of our problem is a set of
items, where each item has a random state which is initially unknown. The only
way to observe an item's state is to select that item. Our objective is to
adaptively select a group of items that achieve the best performance over a set
of tasks, where each task is represented as an adaptive submodular function
that maps sets of items and their states to a real number. To reduce the
computational cost while maintaining a personalized solution for each future
task, we first select an initial solution set based on previously observed
tasks, then adaptively add the remaining items to the initial solution set when
a new task arrives. As compared to the solution where a brand new solution is
computed for each new task, our meta-learning based approach leads to lower
computational overhead at test time since the initial solution set is
pre-computed in the training stage. To solve this problem, we propose a
two-phase greedy policy and show that it achieves a $1/2$ approximation ratio
for the monotone case. For the non-monotone case, we develop a two-phase
randomized greedy policy that achieves a $1/32$ approximation ratio.
- Abstract(参考訳): メタラーニングは機械学習と人工知能のコミュニティで注目を集めている。
本稿では,適応型サブモジュールメタ学習問題を紹介し,研究する。
問題の入力はアイテムの集合であり、各アイテムは最初は未知のランダムな状態を持つ。
アイテムの状態を見る唯一の方法は、そのアイテムを選択することです。
我々の目標は、タスク群上で最高のパフォーマンスを達成する項目群を適応的に選択することであり、各タスクは、アイテムの集合とその状態を実数にマップする適応サブモジュラー関数として表現される。
今後のタスク毎にパーソナライズしたソリューションを維持しつつ計算コストを削減すべく,まず,先述したタスクに基づいて初期ソリューションセットを選択した上で,新たなタスクが到着した時点で,残りのアイテムを初期ソリューションセットに適応的に追加する。
新しいタスクごとに新しいソリューションが計算されるソリューションと比較して、メタラーニングベースのアプローチは、初期ソリューションセットがトレーニング段階で事前計算されているため、テスト時の計算オーバーヘッドを低減します。
この問題を解決するために,二相欲政策を提案し,単調の場合の近似比が1/2$であることを示す。
非単調の場合、二相ランダム化グリーディポリシーを開発し、1/32$近似比を達成する。
関連論文リスト
- Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。
この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。
繰り返し学習せずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-09-28T21:26:50Z) - Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。
タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。
メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
論文 参考訳(メタデータ) (2021-10-26T22:16:35Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳(メタデータ) (2021-01-24T22:57:19Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2020-12-14T18:05:24Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳(メタデータ) (2020-07-26T01:50:42Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T03:15:53Z) - Submodular Meta-Learning [43.15332631500541]
将来的なタスクのパフォーマンス向上のために,メタラーニングフレームワークの個別版を導入する。
我々のアプローチは、事前データ、すなわち、以前に訪れたタスクを使用して、適切な初期ソリューションセットをトレーニングすることを目的としている。
我々のフレームワークは、性能損失を小さく抑えながら、新しいタスクを解く際に、計算の複雑さを著しく低減させることを示した。
論文 参考訳(メタデータ) (2020-07-11T21:02:48Z) - Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。
この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。
簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
論文 参考訳(メタデータ) (2020-07-01T19:53:35Z) - Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding
Meta-Amortization Error [50.83356836818667]
循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。
実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
論文 参考訳(メタデータ) (2020-03-04T04:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。