Fugu-MT 論文翻訳(概要): PAC-Bayes meta-learning with implicit task-specific posteriors

論文の概要: PAC-Bayes meta-learning with implicit task-specific posteriors

arxiv url: http://arxiv.org/abs/2003.02455v3
Date: Sat, 30 Oct 2021 06:49:11 GMT
ステータス: 処理完了
システム内更新日: 2022-12-26 06:23:36.959949
Title: PAC-Bayes meta-learning with implicit task-specific posteriors
Title（参考訳）: PAC-Bayesメタラーニング
Authors: Cuong Nguyen, Thanh-Toan Do, Gustavo Carneiro
Abstract要約: そこで本研究では,PAC-Bayesメタ学習アルゴリズムを提案する。提案したメタ学習アルゴリズムを用いてトレーニングしたモデルは、精度よく校正されていることを示す。
参考スコア（独自算出の注目度）: 37.32107678838193
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a new and rigorously-formulated PAC-Bayes meta-learning algorithm that solves few-shot learning. Our proposed method extends the PAC-Bayes framework from a single task setting to the meta-learning multiple task setting to upper-bound the error evaluated on any, even unseen, tasks and samples. We also propose a generative-based approach to estimate the posterior of task-specific model parameters more expressively compared to the usual assumption based on a multivariate normal distribution with a diagonal covariance matrix. We show that the models trained with our proposed meta-learning algorithm are well calibrated and accurate, with state-of-the-art calibration and classification results on few-shot classification (mini-ImageNet and tiered-ImageNet) and regression (multi-modal task-distribution regression) benchmarks.
Abstract（参考訳）: そこで本研究では,PAC-Bayesメタ学習アルゴリズムを提案する。提案手法は,PAC-Bayesフレームワークを単一タスク設定からメタラーニング多重タスク設定まで拡張し,未知のタスクやサンプルでも評価されたエラーを上位にバウンドする。また, 対角共分散行列を用いた多変量正規分布に基づく通常の仮定よりも, タスク固有モデルパラメータの後方をより表現的に推定する生成的手法を提案する。提案するメタラーニングアルゴリズムでトレーニングされたモデルは,マイショット分類(mini-imagenetとtiered-imagenet)と回帰(multi-modal task-distribution regression)ベンチマークにおいて,最先端のキャリブレーションと分類結果を用いて,高度に校正と精度を示す。

関連論文リスト

Task Weighting in Meta-learning with Trajectory Optimisation [37.32107678838193]
本稿では,メタ学習のためのタスク重み付けアルゴリズムを提案する。動作と同一のミニバッチ内のタスクの重みを考慮し,タスク重み付けメタ学習問題を軌跡最適化に投入した。提案手法は,2つの数ショット学習ベンチマークにおいて,手動重み付け法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-01-04T01:36:09Z)
Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文参考訳（メタデータ） (2022-09-10T16:14:53Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。本手法の有効性を証明するために理論的解析を行った。
論文参考訳（メタデータ） (2022-03-22T12:41:55Z)
ST-MAML: A Stochastic-Task based Method for Task-Heterogeneous Meta-Learning [12.215288736524268]
本稿では,モデルに依存しないメタラーニング(MAML)を複数のタスク分布から学習するための新しい手法ST-MAMLを提案する。そこで本研究では,ST-MAMLが2つの画像分類タスク,1つの曲線評価ベンチマーク,1つの画像補完問題,および実世界の温度予測アプリケーションにおいて,最先端の映像分類タスクに適合または優れることを示す。
論文参考訳（メタデータ） (2021-09-27T18:54:50Z)
Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-06-04T20:15:34Z)
B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文参考訳（メタデータ） (2021-01-01T09:19:48Z)
Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文参考訳（メタデータ） (2020-07-17T03:15:53Z)
Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
論文参考訳（メタデータ） (2020-06-16T02:21:49Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)
CONSAC: Robust Multi-Model Fitting by Conditional Sample Consensus [62.86856923633923]
我々は,同じ形状の複数のパラメトリックモデルを雑音測定に適合させる頑健な推定器を提案する。複数のモデル検出のための手作り検索戦略を利用する従来の研究とは対照的に,データから検索戦略を学習する。探索の自己教師付き学習において,提案したアルゴリズムをマルチホログラフィー推定で評価し,最先端手法よりも優れた精度を示す。
論文参考訳（メタデータ） (2020-01-08T17:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。