論文の概要: Uncertainty-Aware Meta-Learning for Multimodal Task Distributions
- arxiv url: http://arxiv.org/abs/2210.01881v1
- Date: Tue, 4 Oct 2022 20:02:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 13:08:08.306448
- Title: Uncertainty-Aware Meta-Learning for Multimodal Task Distributions
- Title（参考訳）: 不確実性を考慮したマルチモーダルタスク分布のメタラーニング
- Authors: Cesar Almecija, Apoorva Sharma and Navid Azizan
- Abstract要約: UnLiMiTD(マルチモーダルタスク分散のための不確実性認識メタラーニング)を提案する。
確率論的視点を採り、メタデータセット上のタスクに対してパラメトリックで調整可能な分布をトレーニングする。
我々は、UnLiMiTDの予測が、ほとんどの場合、標準ベースラインと好意的に比較され、性能的に優れていることを示した。
- 参考スコア（独自算出の注目度）: 3.7470451129384825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-learning or learning to learn is a popular approach for learning new
tasks with limited data (i.e., few-shot learning) by leveraging the
commonalities among different tasks. However, meta-learned models can perform
poorly when context data is limited, or when data is drawn from an
out-of-distribution (OoD) task. Especially in safety-critical settings, this
necessitates an uncertainty-aware approach to meta-learning. In addition, the
often multimodal nature of task distributions can pose unique challenges to
meta-learning methods. In this work, we present UnLiMiTD (uncertainty-aware
meta-learning for multimodal task distributions), a novel method for
meta-learning that (1) makes probabilistic predictions on in-distribution tasks
efficiently, (2) is capable of detecting OoD context data at test time, and (3)
performs on heterogeneous, multimodal task distributions. To achieve this goal,
we take a probabilistic perspective and train a parametric, tuneable
distribution over tasks on the meta-dataset. We construct this distribution by
performing Bayesian inference on a linearized neural network, leveraging
Gaussian process theory. We demonstrate that UnLiMiTD's predictions compare
favorably to, and outperform in most cases, the standard baselines, especially
in the low-data regime. Furthermore, we show that UnLiMiTD is effective in
detecting data from OoD tasks. Finally, we confirm that both of these findings
continue to hold in the multimodal task-distribution setting.
- Abstract（参考訳）: メタラーニング(meta-learning)やラーニング・トゥ・ラーニング(learning to learning)は、異なるタスク間の共通性を活用し、限られたデータ(すなわち、わずかな学習)で新しいタスクを学習するための一般的なアプローチである。
しかし、メタ学習モデルは、コンテキストデータが限られている場合や、オフ・オブ・ディストリビューション(OoD)タスクからデータが引き出される場合、パフォーマンスが悪くなる。
特に安全クリティカルな環境では、これはメタ学習に対する不確実性を認識したアプローチを必要とする。
さらに、しばしばタスク分布のマルチモーダルな性質は、メタ学習法に固有の課題をもたらす可能性がある。
本研究では,(1)分散タスクの確率的予測を効率的に行うこと,(2)テスト時にoodコンテキストデータを検出できること,(3)不均質なマルチモーダルタスク分布で実行するメタラーニング手法であるunlimitd(uncertainty-aware meta-learning for multimodal task distributions)を提案する。
この目的を達成するために、確率論的視点を採り、メタデータセット上のタスクに対するパラメトリックで調整可能な分布を訓練する。
我々は、ガウス過程理論を利用して線形化ニューラルネットワーク上でベイズ推定を行い、この分布を構築する。
我々は、UnLiMiTDの予測が、ほとんどの場合、標準ベースライン、特に低データ体制と好意的に比較し、性能的に優れていることを示した。
さらに,UnLiMiTDはOoDタスクからデータを検出するのに有効であることを示す。
最後に,これら2つの発見がマルチモーダルなタスク分散環境においても継続していることを確認した。
関連論文リスト
- Exploring intra-task relations to improve meta-learning algorithms [1.223779595809275]
我々は,タスクの効果的なミニバッチによるトレーニング安定性向上のために,タスク関係の外部知識を活用することを目的としている。
ミニバッチでタスクの多様なセットを選択すると、完全な勾配がより良く見積もられるため、トレーニングにおけるノイズの低減につながる、という仮説を立てる。
論文 参考訳（メタデータ） (2023-12-27T15:33:52Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-05-29T05:20:38Z) - Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。
まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。
軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
論文 参考訳（メタデータ） (2023-02-02T04:02:49Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Generating meta-learning tasks to evolve parametric loss for
classification learning [1.1355370218310157]
既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。
本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
論文 参考訳（メタデータ） (2021-11-20T13:07:55Z) - Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。
分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
論文 参考訳（メタデータ） (2021-11-02T01:50:09Z) - A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。
メタ学習のベンチマークとしてチャネル符号化問題を提案する。
このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
論文 参考訳（メタデータ） (2021-07-15T19:37:43Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。