論文の概要: Learning Representations on the Unit Sphere: Investigating Angular
Gaussian and von Mises-Fisher Distributions for Online Continual Learning
- arxiv url: http://arxiv.org/abs/2306.03364v2
- Date: Tue, 3 Oct 2023 20:43:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 21:37:28.603495
- Title: Learning Representations on the Unit Sphere: Investigating Angular
Gaussian and von Mises-Fisher Distributions for Online Continual Learning
- Title（参考訳）: 単位球面上の学習表現:オンライン連続学習のための角ガウスとフォン・ミセス・フィッシャー分布の探索
- Authors: Nicolas Michel, Giovanni Chierchia, Romain Negrel, Jean-Fran\c{c}ois
Bercher
- Abstract要約: 本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 7.145581090959242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We use the maximum a posteriori estimation principle for learning
representations distributed on the unit sphere. We propose to use the angular
Gaussian distribution, which corresponds to a Gaussian projected on the
unit-sphere and derive the associated loss function. We also consider the von
Mises-Fisher distribution, which is the conditional of a Gaussian in the
unit-sphere. The learned representations are pushed toward fixed directions,
which are the prior means of the Gaussians; allowing for a learning strategy
that is resilient to data drift. This makes it suitable for online continual
learning, which is the problem of training neural networks on a continuous data
stream, where multiple classification tasks are presented sequentially so that
data from past tasks are no longer accessible, and data from the current task
can be seen only once. To address this challenging scenario, we propose a
memory-based representation learning technique equipped with our new loss
functions. Our approach does not require negative data or knowledge of task
boundaries and performs well with smaller batch sizes while being
computationally efficient. We demonstrate with extensive experiments that the
proposed method outperforms the current state-of-the-art methods on both
standard evaluation scenarios and realistic scenarios with blurry task
boundaries. For reproducibility, we use the same training pipeline for every
compared method and share the code at https://t.ly/SQTj.
- Abstract（参考訳）: 単位球上に分布する表現の学習には,最大アフター推定原理を用いる。
本研究では,単位球面上に投影されたガウス分布に対応する角ガウス分布を用い,それに伴う損失関数を導出する。
また、単位球面におけるガウスの条件であるフォン・ミセス=フィッシャー分布も考慮する。
学習された表現は、ガウスの以前の手段である固定方向に向かってプッシュされ、データドリフトに耐性のある学習戦略が実現される。
これにより、連続したデータストリーム上でニューラルネットワークをトレーニングする問題であるオンライン連続学習に適合する。複数の分類タスクが順次提示され、過去のタスクからのデータがアクセス不能になり、現在のタスクからのデータは1回だけ見ることができる。
この課題に対処するために,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法では,タスク境界に関する負のデータや知識は必要とせず,計算効率が向上し,バッチサイズも小さくなった。
提案手法は,標準的な評価シナリオと,ぼやけたタスク境界を持つ現実シナリオの両方において,現在の最先端手法よりも優れていることを示す。
再現性のために、比較対象のメソッド毎に同じトレーニングパイプラインを使用し、コードをhttps://t.ly/SQTj.orgで共有します。
関連論文リスト
- Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning [29.328769628694484]
連続学習のような関連するタスクのシーケンスを効果的に学習することは、ニューラルネットにとって重要な課題となる。
ベイズ推定に基づくタスクを逐次学習するための基盤的枠組みを用いてこの問題に対処する。
論文 参考訳（メタデータ） (2024-10-09T11:54:33Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Kernel Density Bayesian Inverse Reinforcement Learning [5.699034783029326]
逆強化学習(IRL)法は、エージェントの報酬関数を専門家の行動の実証を用いて推定する。
この研究は、ベイズIRLを様々な領域に適用できる原理的で理論的に基礎付けられた枠組みを導入している。
論文 参考訳（メタデータ） (2023-03-13T03:00:03Z) - The Challenges of Continuous Self-Supervised Learning [40.941767578622745]
自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。
このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。
本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
論文 参考訳（メタデータ） (2022-03-23T20:05:06Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - Task Agnostic Continual Learning Using Online Variational Bayes with
Fixed-Point Updates [28.662887957256913]
破滅的な忘れは、学習中のデータ分布の変化に対するニューラルネットワークの悪名高い脆弱性である。
オンライン変分ベイズ最適化問題に対する新しい不動点方程式を導出する。
非定常データ分散を処理できる連続学習のためのアルゴリズム(FOO-VB)を得る。
論文 参考訳（メタデータ） (2020-10-01T13:10:35Z) - DisCor: Corrective Feedback in Reinforcement Learning via Distribution
Correction [96.90215318875859]
ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。
本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
論文 参考訳（メタデータ） (2020-03-16T16:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。