論文の概要: Variational Auto-Regressive Gaussian Processes for Continual Learning

• arxiv url: http://arxiv.org/abs/2006.05468v3
• Date: Sat, 12 Jun 2021 06:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 14:09:39.683550
• Title: Variational Auto-Regressive Gaussian Processes for Continual Learning
• Title（参考訳）: 連続学習のための変分自己回帰ガウス過程
• Authors: Sanyam Kapoor, Theofanis Karaletsos, Thang D. Bui
• Abstract要約: 連続学習におけるシーケンシャルなタスクを解くための原則的後続更新機構を開発する。 スケーラブルな後続に対するスパース誘導点近似を頼りに、新しい自己回帰変動分布を提案する。 平均的な予測エントロピー推定は、VAR-GPが破滅的な忘れを防いでいることを示している。
• 参考スコア（独自算出の注目度）: 17.43751039943161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Through sequential construction of posteriors on observing data online, Bayes' theorem provides a natural framework for continual learning. We develop Variational Auto-Regressive Gaussian Processes (VAR-GPs), a principled posterior updating mechanism to solve sequential tasks in continual learning. By relying on sparse inducing point approximations for scalable posteriors, we propose a novel auto-regressive variational distribution which reveals two fruitful connections to existing results in Bayesian inference, expectation propagation and orthogonal inducing points. Mean predictive entropy estimates show VAR-GPs prevent catastrophic forgetting, which is empirically supported by strong performance on modern continual learning benchmarks against competitive baselines. A thorough ablation study demonstrates the efficacy of our modeling choices.
• Abstract（参考訳）: オンラインデータ観測における後方の逐次構成を通じて、ベイズの定理は連続学習の自然な枠組みを提供する。 連続学習における逐次課題を解決するための基本後続更新機構である変分自己回帰ガウス過程(var-gps)を開発した。 スケーラブルな後流に対するスパース誘導点近似に依拠して,ベイズ推定,期待伝播,直交誘導点における既存の結果に対する2つの実りある関係を明らかにする,新しい自己回帰的変分分布を提案する。 平均的な予測エントロピー推定は、VAR-GPが破滅的な忘れ込みを防止していることを示している。 徹底的なアブレーション研究は、我々のモデリング選択の有効性を示す。

関連論文リスト

• Hybrid Gaussian Process Regression with Temporal Feature Extraction for Partially Interpretable Remaining Useful Life Interval Prediction in Aeroengine Prognostics [0.615155791092452]
  本稿では,Remaining Useful Life (RUL) 間隔予測のための改良されたガウスプロセス回帰(GPR)モデルを提案する。 修正されたGPRは、過去のデータから学習することで信頼区間を予測し、より構造化された方法で不確実性モデリングに対処する。 現代の製造システムに固有の複雑な時系列パターンや動的挙動を効果的に捉えている。
  論文  参考訳（メタデータ） (2024-11-19T03:00:02Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Causal Graph Discovery from Self and Mutually Exciting Time Series [10.410454851418548]
  我々は,線形プログラムを解くことによって,非漸近的回復保証と定量的不確実性を開発する。 Sepsis Associated Derangements (SAD) による高度に解釈可能な因果DAGの回復におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-01-26T16:15:27Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Measuring and Reducing Model Update Regression in Structured Prediction for NLP [31.86240946966003]
  後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。 本研究は、構造化予測タスクにおける更新回帰をモデル化する。 本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T07:04:54Z)
• Variational Inference for Continuous-Time Switching Dynamical Systems [29.984955043675157]
  従属拡散過程を変調したマルコフジャンプ過程に基づくモデルを提案する。 我々は,新しい連続時間変動推定アルゴリズムを開発した。 モデル仮定と実世界の実例に基づいて,我々のアルゴリズムを広範囲に評価する。
  論文  参考訳（メタデータ） (2021-09-29T15:19:51Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。