論文の概要: Memory-Based Meta-Learning on Non-Stationary Distributions

• arxiv url: http://arxiv.org/abs/2302.03067v2
• Date: Thu, 25 May 2023 17:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 22:49:57.707321
• Title: Memory-Based Meta-Learning on Non-Stationary Distributions
• Title（参考訳）: 非定常分布におけるメモリベースメタラーニング
• Authors: Tim Genewein, Gr\'egoire Del\'etang, Anian Ruoss, Li Kevin Wenliang, Elliot Catt, Vincent Dutordoir, Jordi Grau-Moya, Laurent Orseau, Marcus Hutter, Joel Veness
• Abstract要約: メモリベースのメタラーニングはベイズ最適予測器を近似する手法である。 本稿では,Transformer,LSTM,RNNなどのメモリベースニューラルネットワークを用いて,ベイズ最適化アルゴリズムを正確に近似することができることを示す。
• 参考スコア（独自算出の注目度）: 29.443692147512742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-based meta-learning is a technique for approximating Bayes-optimal predictors. Under fairly general conditions, minimizing sequential prediction error, measured by the log loss, leads to implicit meta-learning. The goal of this work is to investigate how far this interpretation can be realized by current sequence prediction models and training regimes. The focus is on piecewise stationary sources with unobserved switching-points, which arguably capture an important characteristic of natural language and action-observation sequences in partially observable environments. We show that various types of memory-based neural models, including Transformers, LSTMs, and RNNs can learn to accurately approximate known Bayes-optimal algorithms and behave as if performing Bayesian inference over the latent switching-points and the latent parameters governing the data distribution within each segment.
• Abstract（参考訳）: メモリベースのメタ学習はベイズ最適予測器を近似する手法である。 比較的一般的な条件下では、ログ損失によって測定された逐次予測誤差を最小化することは暗黙のメタ学習につながる。 本研究の目的は,現在のシーケンス予測モデルとトレーニングレジームを用いて,この解釈がどこまで実現できるかを検討することである。 その焦点は、観測不能なスイッチングポイントを持つ断片的な定常源であり、部分的に観測可能な環境における自然言語と行動観測シーケンスの重要な特徴を確実に捉えている。 本稿では,Transformer,LSTM,RNNなどのメモリベースニューラルモデルを用いて,既知のベイズ最適アルゴリズムを正確に近似し,潜時切換点に対するベイズ推定や各セグメント内のデータ分布を管理する潜時パラメータの動作を学習できることを示す。

関連論文リスト

• Amortised Inference in Neural Networks for Small-Scale Probabilistic Meta-Learning [41.85464593920907]
  BNNに対する大域的変分近似は、一連の条件分布を構成するために一連のインジェクションインプットを使用する。 我々の重要な洞察は、これらのインプットを実際のデータに置き換えることができ、変動分布は各データポイントに対して近似的な確率の集合からなることである。 この推論ネットワークを関連するデータセット間でトレーニングすることにより、タスク固有のBNNに対するメタ学習ベイズ推論が可能になる。
  論文  参考訳（メタデータ） (2023-10-24T12:34:25Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• False Positive Detection and Prediction Quality Estimation for LiDAR Point Cloud Segmentation [5.735035463793009]
  我々は,LidarMetaSegと呼ばれる,LiDARポイントクラウドデータのセマンティックセグメンテーションのための新しい後処理ツールを提案する。 我々は,ネットワークの確率出力に基づく分散度と,点雲の入力特徴に基づく特徴度を計算し,セグメントレベルで集計する。 これらの集約された測度は、予測されたセグメントが偽陽性か否かを予測するためのメタ分類モデルをトレーニングするために使用され、メタ回帰モデルは、結合上のセグメントワイドの交叉を予測するために使用される。
  論文  参考訳（メタデータ） (2021-10-29T11:00:30Z)
• Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
  ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。 提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-10-21T10:44:23Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。