論文の概要: The Challenges of Continuous Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2203.12710v1
• Date: Wed, 23 Mar 2022 20:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-26 01:53:03.671718
• Title: The Challenges of Continuous Self-Supervised Learning
• Title（参考訳）: 継続的自己監督学習の課題
• Authors: Senthil Purushwalkam, Pedro Morgado, Abhinav Gupta
• Abstract要約: 自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。 このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。 本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
• 参考スコア（独自算出の注目度）: 40.941767578622745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) aims to eliminate one of the major bottlenecks in representation learning - the need for human annotations. As a result, SSL holds the promise to learn representations from data in-the-wild, i.e., without the need for finite and static datasets. Instead, true SSL algorithms should be able to exploit the continuous stream of data being generated on the internet or by agents exploring their environments. But do traditional self-supervised learning approaches work in this setup? In this work, we investigate this question by conducting experiments on the continuous self-supervised learning problem. While learning in the wild, we expect to see a continuous (infinite) non-IID data stream that follows a non-stationary distribution of visual concepts. The goal is to learn a representation that can be robust, adaptive yet not forgetful of concepts seen in the past. We show that a direct application of current methods to such continuous setup is 1) inefficient both computationally and in the amount of data required, 2) leads to inferior representations due to temporal correlations (non-IID data) in some sources of streaming data and 3) exhibits signs of catastrophic forgetting when trained on sources with non-stationary data distributions. We propose the use of replay buffers as an approach to alleviate the issues of inefficiency and temporal correlations. We further propose a novel method to enhance the replay buffer by maintaining the least redundant samples. Minimum redundancy (MinRed) buffers allow us to learn effective representations even in the most challenging streaming scenarios composed of sequential visual data obtained from a single embodied agent, and alleviates the problem of catastrophic forgetting when learning from data with non-stationary semantic distributions.
• Abstract（参考訳）: self-supervised learning(ssl)は、表現学習における大きなボトルネックである、人間のアノテーションの必要性を取り除くことを目的としている。 結果としてSSLは、有限かつ静的なデータセットを必要とせずに、ワイルドなデータから表現を学ぶことを約束している。 代わりに、真のSSLアルゴリズムは、インターネットまたはその環境を探索するエージェントによって生成されるデータの連続的なストリームを利用することができるべきである。 しかし、従来の自己教師型学習アプローチはこの設定で機能するのか? 本研究では,この課題を,継続的自己教師型学習問題の実験によって検討する。 野生で学びながら、視覚概念の非定常分布に従う連続的な(無限の)非IIDデータストリームが期待されます。 目標は、過去に見られた概念を忘れずに、堅牢で適応性のある表現を学ぶことです。 このような連続的なセットアップに対する現在の手法の直接的適用は, 1) 計算量と必要なデータ量の両方が非効率である。 2)ストリーミングデータの一部のソースにおける時間的相関(非IIDデータ)による表現の低下につながる。 3)非定常データ分布の源泉で訓練した際,破滅的な忘れの兆候を示す。 本稿では,非効率性と時間的相関の問題を緩和する手法としてリプレイバッファを提案する。 また,最小冗長サンプルを維持することでリプレイバッファを向上させる新しい手法を提案する。 最小冗長性(MinRed)バッファは、単一のエンボディエージェントから得られる逐次視覚データからなる最も困難なストリーミングシナリオにおいても効果的な表現を学習することができ、非定常意味分布を持つデータから学習する際の破滅的忘れの問題を軽減することができる。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Reasoning with Latent Diffusion in Offline Reinforcement Learning [11.349356866928547]
  オフラインの強化学習は、静的データセットからハイリワードポリシーを学ぶ手段として、約束を守る。 オフラインRLの主な課題は、静的データセットから最適な軌道の部分を効果的に縫合することにある。 本稿では,潜在拡散の表現性を利用して,非支持軌道列を圧縮された潜在スキルとしてモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-12T20:58:21Z)
• Learning Representations on the Unit Sphere: Investigating Angular Gaussian and von Mises-Fisher Distributions for Online Continual Learning [7.145581090959242]
  本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。 提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T02:38:01Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Class Incremental Online Streaming Learning [40.97848249237289]
  本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。 提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。 また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-20T19:24:31Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。