論文の概要: Meta Learning as Bayes Risk Minimization

• arxiv url: http://arxiv.org/abs/2006.01488v1
• Date: Tue, 2 Jun 2020 09:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 23:25:46.565391
• Title: Meta Learning as Bayes Risk Minimization
• Title（参考訳）: ベイズリスク最小化としてのメタ学習
• Authors: Shin-ichi Maeda, Toshiki Nakanishi, Masanori Koyama
• Abstract要約: 確率的フレームワークを使用して、関連する2つのタスクの意味を定式化する。 我々の定式化において、BRM最適解は、文脈データセット上で条件付けられたタスク固有の潜在変数の後方分布から計算された予測分布によって与えられる。 後部分布の近似は、真の後部分布と同じ速度で最大推定値に収束することを示す。
• 参考スコア（独自算出の注目度）: 18.76745359031975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-Learning is a family of methods that use a set of interrelated tasks to learn a model that can quickly learn a new query task from a possibly small contextual dataset. In this study, we use a probabilistic framework to formalize what it means for two tasks to be related and reframe the meta-learning problem into the problem of Bayesian risk minimization (BRM). In our formulation, the BRM optimal solution is given by the predictive distribution computed from the posterior distribution of the task-specific latent variable conditioned on the contextual dataset, and this justifies the philosophy of Neural Process. However, the posterior distribution in Neural Process violates the way the posterior distribution changes with the contextual dataset. To address this problem, we present a novel Gaussian approximation for the posterior distribution that generalizes the posterior of the linear Gaussian model. Unlike that of the Neural Process, our approximation of the posterior distributions converges to the maximum likelihood estimate with the same rate as the true posterior distribution. We also demonstrate the competitiveness of our approach on benchmark datasets.
• Abstract（参考訳）: メタラーニング(Meta-Learning)は、関連する一連のタスクを使用して、潜在的に小さなコンテキストデータセットから新しいクエリタスクを素早く学習できるモデルを学ぶメソッドのファミリーである。 本研究では,2つのタスクが関係することの意味を定式化する確率的枠組みを用いて,メタラーニング問題をベイズリスク最小化問題(brm)に再編成する。 我々の定式化において、BRM最適解は、文脈データセット上で条件付けられたタスク固有の潜在変数の後方分布から計算された予測分布によって与えられる。 しかし、神経過程の後方分布は、文脈データセットで後方分布が変化する方法に違反する。 この問題に対処するために,線形ガウスモデルの後続を一般化する新しい後続分布のガウス近似を提案する。 神経過程と異なり、後頭葉分布の近似値は、真の後頭葉分布と同じ速度で最大推定値に収束する。 また、ベンチマークデータセットに対するアプローチの競争力を実証する。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• SPDE priors for uncertainty quantification of end-to-end neural data assimilation schemes [4.213142548113385]
  ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。 本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。 我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures [0.0]
  この研究は、特に逆問題に対する代理モデルを構築する文脈において、ガウス過程回帰の導入として機能する。 本研究は, 正の後方分布と近似の後方分布との誤差が, 正の後方分布の重み付けした$L2$-normで測定された真と近似の近さの誤差によって有界となることを示す。
  論文  参考訳（メタデータ） (2023-02-09T09:25:39Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• A Distribution-Dependent Analysis of Meta-Learning [13.24264919706183]
  メタラーニング理論の鍵となる問題は、タスク分布が伝達リスクにどのように影響するかを理解することである。 本稿では,任意のアルゴリズムの転送リスクに対して,分布依存性の低い境界を与える。 バイアス付き正規化回帰法(英語版)と呼ばれる新しい重み付きバージョンは、これらの下界を固定定数係数に一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-10-31T19:36:15Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。