論文の概要: Learning Representations on the Unit Sphere: Application to Online
Continual Learning
- arxiv url: http://arxiv.org/abs/2306.03364v1
- Date: Tue, 6 Jun 2023 02:38:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 17:31:19.696462
- Title: Learning Representations on the Unit Sphere: Application to Online
Continual Learning
- Title(参考訳): 単位球面上の学習表現:オンライン連続学習への応用
- Authors: Nicolas Michel, Giovanni Chierchia, Romain Negrel, Jean-Fran\c{c}ois
Bercher
- Abstract要約: 本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 8.868276505511922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We use the maximum a posteriori estimation principle for learning
representations distributed on the unit sphere. We derive loss functions for
the von Mises-Fisher distribution and the angular Gaussian distribution, both
designed for modeling symmetric directional data. A noteworthy feature of our
approach is that the learned representations are pushed toward fixed
directions, allowing for a learning strategy that is resilient to data drift.
This makes it suitable for online continual learning, which is the problem of
training neural networks on a continuous data stream, where multiple
classification tasks are presented sequentially so that data from past tasks
are no longer accessible, and data from the current task can be seen only once.
To address this challenging scenario, we propose a memory-based representation
learning technique equipped with our new loss functions. Our approach does not
require negative data or knowledge of task boundaries and performs well with
smaller batch sizes while being computationally efficient. We demonstrate with
extensive experiments that the proposed method outperforms the current
state-of-the-art methods on both standard evaluation scenarios and realistic
scenarios with blurry task boundaries. For reproducibility, we use the same
training pipeline for every compared method and share the code at
https://t.ly/SQTj.
- Abstract(参考訳): 単位球上に分布する表現の学習には,最大アフター推定原理を用いる。
我々は、対称方向データモデリング用に設計されたフォン・ミセス・フィッシャー分布と角ガウス分布の損失関数を導出する。
我々のアプローチの注目すべき特徴は、学習した表現が一定の方向にプッシュされ、データドリフトに弾力性のある学習戦略が可能になることです。
これにより、連続したデータストリーム上でニューラルネットワークをトレーニングする問題であるオンライン連続学習に適合する。複数の分類タスクが順次提示され、過去のタスクからのデータがアクセス不能になり、現在のタスクからのデータは1回だけ見ることができる。
この課題に対処するために,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法では,タスク境界に関する負のデータや知識は必要とせず,計算効率が向上し,バッチサイズも小さくなった。
提案手法は,標準的な評価シナリオと,ぼやけたタスク境界を持つ現実シナリオの両方において,現在の最先端手法よりも優れていることを示す。
再現性のために、比較対象のメソッド毎に同じトレーニングパイプラインを使用し、コードをhttps://t.ly/SQTj.orgで共有します。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。
本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。
提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
論文 参考訳(メタデータ) (2023-07-13T08:36:15Z) - The Challenges of Continuous Self-Supervised Learning [40.941767578622745]
自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。
このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。
本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
論文 参考訳(メタデータ) (2022-03-23T20:05:06Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳(メタデータ) (2021-11-03T03:50:48Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳(メタデータ) (2021-07-19T13:57:13Z) - Task Agnostic Continual Learning Using Online Variational Bayes with
Fixed-Point Updates [28.662887957256913]
破滅的な忘れは、学習中のデータ分布の変化に対するニューラルネットワークの悪名高い脆弱性である。
オンライン変分ベイズ最適化問題に対する新しい不動点方程式を導出する。
非定常データ分散を処理できる連続学習のためのアルゴリズム(FOO-VB)を得る。
論文 参考訳(メタデータ) (2020-10-01T13:10:35Z) - DisCor: Corrective Feedback in Reinforcement Learning via Distribution
Correction [96.90215318875859]
ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。
本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
論文 参考訳(メタデータ) (2020-03-16T16:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。