論文の概要: MARS: Meta-Learning as Score Matching in the Function Space

• arxiv url: http://arxiv.org/abs/2210.13319v3
• Date: Sat, 10 Jun 2023 10:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 02:20:51.601842
• Title: MARS: Meta-Learning as Score Matching in the Function Space
• Title（参考訳）: MARS: 関数空間におけるスコアマッチングとしてのメタラーニング
• Authors: Krunoslav Lehman Pavasovic, Jonas Rothfuss and Andreas Krause
• Abstract要約: 本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
• 参考スコア（独自算出の注目度）: 79.73213540203389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning aims to extract useful inductive biases from a set of related datasets. In Bayesian meta-learning, this is typically achieved by constructing a prior distribution over neural network parameters. However, specifying families of computationally viable prior distributions over the high-dimensional neural network parameters is difficult. As a result, existing approaches resort to meta-learning restrictive diagonal Gaussian priors, severely limiting their expressiveness and performance. To circumvent these issues, we approach meta-learning through the lens of functional Bayesian neural network inference, which views the prior as a stochastic process and performs inference in the function space. Specifically, we view the meta-training tasks as samples from the data-generating process and formalize meta-learning as empirically estimating the law of this stochastic process. Our approach can seamlessly acquire and represent complex prior knowledge by meta-learning the score function of the data-generating process marginals instead of parameter space priors. In a comprehensive benchmark, we demonstrate that our method achieves state-of-the-art performance in terms of predictive accuracy and substantial improvements in the quality of uncertainty estimates.
• Abstract（参考訳）: メタラーニングは、関連するデータセットから有用な帰納的バイアスを抽出することを目的としている。 ベイジアンメタラーニングでは、ニューラルネットワークパラメータの事前分布を構築してこれを達成している。 しかし、高次元ニューラルネットワークパラメータ上で計算可能な事前分布の族を特定することは困難である。 結果として、既存のアプローチはメタラーニングの制限された対角的なガウスの先行に頼り、表現力と性能を著しく制限する。 これらの問題を回避するため,機能的ベイズニューラルネットワーク推論のレンズを通してメタラーニングにアプローチし,事前を確率的プロセスとみなし,関数空間で推論を行う。 具体的には、メタトレーニングタスクをデータ生成プロセスのサンプルとして捉え、メタラーニングをこの確率過程の法則を実証的に推定するものとして形式化する。 我々の手法は,パラメータ空間の先行ではなく,データ生成プロセスのスコア関数をメタ学習することで,複雑な事前知識をシームレスに獲得し,表現することができる。 総合ベンチマークでは,予測精度と不確実性評価の質が大幅に向上し,最先端の性能が得られることを示す。

関連論文リスト

• Deep Learning and genetic algorithms for cosmological Bayesian inference speed-up [0.0]
  本稿では,ネストサンプリングアルゴリズムに特化してベイズ推論を高速化する新しい手法を提案する。 提案手法は,ベイズ推論過程における確率関数を動的に近似するために,フィードフォワードニューラルネットワークを用いてディープラーニングのパワーを利用する。 この実装はネストサンプリングアルゴリズムと統合され、単純な宇宙学のダークエネルギーモデルと多様な観測データセットの両方を用いて徹底的に評価されている。
  論文  参考訳（メタデータ） (2024-05-06T09:14:58Z)
• Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization [0.0]
  本研究では,岩田具治と熊谷篤俊をモデルとした表型データを用いた表現学習手法を提案する。 一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
  論文  参考訳（メタデータ） (2024-03-07T18:16:29Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Memory-Based Meta-Learning on Non-Stationary Distributions [29.443692147512742]
  メモリベースのメタラーニングはベイズ最適予測器を近似する手法である。 本稿では,Transformer,LSTM,RNNなどのメモリベースニューラルネットワークを用いて,ベイズ最適化アルゴリズムを正確に近似することができることを示す。
  論文  参考訳（メタデータ） (2023-02-06T19:08:59Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
  ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。 提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-10-21T10:44:23Z)
• Meta-Learning Reliable Priors in the Function Space [36.869587157481284]
  本稿では,F-PACOHと呼ばれるメタ学習フレームワークを紹介し,メタ学習をプロセスとして扱い,関数空間内で直接メタレベル正規化を行う。 これにより、メタラーナーの予測を、不十分なメタトレーニングデータの領域における高い不確実性に向けて直接操縦することができ、よく校正された不確実性推定が得られる。
  論文  参考訳（メタデータ） (2021-06-06T18:07:49Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。