Fugu-MT 論文翻訳(概要): Memory-Based Dual Gaussian Processes for Sequential Learning

論文の概要: Memory-Based Dual Gaussian Processes for Sequential Learning

arxiv url: http://arxiv.org/abs/2306.03566v1
Date: Tue, 6 Jun 2023 10:34:03 GMT
ステータス: 処理完了
システム内更新日: 2023-06-07 16:04:11.264586
Title: Memory-Based Dual Gaussian Processes for Sequential Learning
Title（参考訳）: 逐次学習のためのメモリベースデュアルガウス過程
Authors: Paul E. Chang, Prakhar Verma, S.T. John, Arno Solin, Mohammad Emtiyaz Khan
Abstract要約: 提案手法は,最近提案されたデュアルスパース変分GPを用いて,これらの誤差をすべてチェックする手法である。提案手法は,過去のデータのメモリを積極的に構築・更新することで,汎用可能性の正確な推測を可能にし,学習を改善する。
参考スコア（独自算出の注目度）: 26.22552882103996
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sequential learning with Gaussian processes (GPs) is challenging when access to past data is limited, for example, in continual and active learning. In such cases, errors can accumulate over time due to inaccuracies in the posterior, hyperparameters, and inducing points, making accurate learning challenging. Here, we present a method to keep all such errors in check using the recently proposed dual sparse variational GP. Our method enables accurate inference for generic likelihoods and improves learning by actively building and updating a memory of past data. We demonstrate its effectiveness in several applications involving Bayesian optimization, active learning, and continual learning.
Abstract（参考訳）: ガウス過程(GP)による逐次学習は、例えば連続的および活発な学習において、過去のデータへのアクセスが制限されている場合に困難である。このような場合、後部、ハイパーパラメータの不正確さ、およびポイントの誘導によりエラーが時間の経過とともに蓄積され、正確な学習が困難になる。そこで本研究では,最近提案されたデュアルスパース変分GPを用いて,このようなエラーをすべてチェックする手法を提案する。提案手法は,過去の記憶を積極的に構築・更新することで,汎用的確率の正確な推論を可能にし,学習を改善する。ベイズ最適化,アクティブラーニング,継続的な学習を含むいくつかのアプリケーションでその効果を示す。

関連論文リスト

An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-07-30T16:30:09Z)
Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文参考訳（メタデータ） (2024-05-23T08:43:09Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
制約付き最適化問題を直接実行することは可能かつ有益であることを示す。メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
論文参考訳（メタデータ） (2023-09-29T21:23:27Z)
Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation [2.28438857884398]
連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
論文参考訳（メタデータ） (2022-10-03T04:57:05Z)
Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文参考訳（メタデータ） (2021-12-16T06:17:07Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)
Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
論文参考訳（メタデータ） (2020-04-29T10:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。