論文の概要: Probabilistic task modelling for meta-learning

• arxiv url: http://arxiv.org/abs/2106.04802v1
• Date: Wed, 9 Jun 2021 04:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 06:32:07.603618
• Title: Probabilistic task modelling for meta-learning
• Title（参考訳）: メタラーニングのための確率的タスクモデリング
• Authors: Cuong C. Nguyen and Thanh-Toan Do and Gustavo Carneiro
• Abstract要約: 本稿ではメタラーニングに使用されるタスクの集合に対する生成確率モデルを提案する。 提案モデルは変分オートエンコーディングと潜時ディリクレアロケーションを組み合わせて,各タスクを埋め込み空間におけるガウス分布の混合としてモデル化する。
• 参考スコア（独自算出の注目度）: 44.072592379328036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose probabilistic task modelling -- a generative probabilistic model for collections of tasks used in meta-learning. The proposed model combines variational auto-encoding and latent Dirichlet allocation to model each task as a mixture of Gaussian distribution in an embedding space. Such modelling provides an explicit representation of a task through its task-theme mixture. We present an efficient approximation inference technique based on variational inference method for empirical Bayes parameter estimation. We perform empirical evaluations to validate the task uncertainty and task distance produced by the proposed method through correlation diagrams of the prediction accuracy on testing tasks. We also carry out experiments of task selection in meta-learning to demonstrate how the task relatedness inferred from the proposed model help to facilitate meta-learning algorithms.
• Abstract（参考訳）: メタラーニングに使用されるタスクの集合に対する生成的確率モデルである確率的タスクモデリングを提案する。 提案モデルは変分オートエンコーディングと潜在ディリクレ割当を組み合わせ、各タスクを埋め込み空間内のガウス分布の混合としてモデル化する。 このようなモデリングはタスク-テーマの混合を通じてタスクの明示的な表現を提供する。 経験的ベイズ推定のための変分推定法に基づく効率的な近似推定手法を提案する。 提案手法により得られたタスクの不確かさとタスク距離を,テストタスクにおける予測精度の相関図を用いて検証する。 また,メタ学習におけるタスク選択実験を行い,提案モデルから推定したタスク関連性がメタ学習アルゴリズムの促進に役立つことを示す。

関連論文リスト

• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism [7.479892725446205]
  マルチタスク学習(MTL)は、異なるレベルで情報を共有することで複数のタスクを同時に学習するパラダイムである。 異なるタスクが相互に影響のある相関出力を生成する可能性があることを考慮し、後続情報をモデルに導入する。 我々は,MTLモデルにフィードバック機構を組み込むことで,あるタスクの出力が他のタスクの隠れ機能として機能する。
  論文  参考訳（メタデータ） (2024-04-01T03:27:34Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Learning Tensor Representations for Meta-Learning [8.185750946886001]
  多様なタスクの集合からメタラーニングのための共有表現のテンソルモデルを導入する。 最初のステップから推定テンソルを置換することで、新しいタスクのごくわずかなサンプルでタスク固有のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-01-18T23:01:35Z)
• Mixture of basis for interpretable continual learning with distribution shifts [1.6114012813668934]
  データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。 本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
  論文  参考訳（メタデータ） (2022-01-05T22:53:15Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
  モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。 本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:21:49Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• PAC-Bayes meta-learning with implicit task-specific posteriors [37.32107678838193]
  そこで本研究では,PAC-Bayesメタ学習アルゴリズムを提案する。 提案したメタ学習アルゴリズムを用いてトレーニングしたモデルは、精度よく校正されていることを示す。
  論文  参考訳（メタデータ） (2020-03-05T06:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。