論文の概要: Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data

• arxiv url: http://arxiv.org/abs/2108.09020v1
• Date: Fri, 20 Aug 2021 06:17:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 13:36:44.946142
• Title: Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data
• Title（参考訳）: 自然分布シフトを用いたオンライン連続学習:ビジュアルデータを用いた実証的研究
• Authors: Zhipeng Cai and Ozan Sener and Vladlen Koltun
• Abstract要約: オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 101.6195176510611
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning is the problem of learning and retaining knowledge through time over multiple tasks and environments. Research has primarily focused on the incremental classification setting, where new tasks/classes are added at discrete time intervals. Such an "offline" setting does not evaluate the ability of agents to learn effectively and efficiently, since an agent can perform multiple learning epochs without any time limitation when a task is added. We argue that "online" continual learning, where data is a single continuous stream without task boundaries, enables evaluating both information retention and online learning efficacy. In online continual learning, each incoming small batch of data is first used for testing and then added to the training set, making the problem truly online. Trained models are later evaluated on historical data to assess information retention. We introduce a new benchmark for online continual visual learning that exhibits large scale and natural distribution shifts. Through a large-scale analysis, we identify critical and previously unobserved phenomena of gradient-based optimization in continual learning, and propose effective strategies for improving gradient-based online continual learning with real data. The source code and dataset are available in: https://github.com/IntelLabs/continuallearning.
• Abstract（参考訳）: 継続的な学習は、複数のタスクや環境を通して知識を学習し、保持する問題である。 研究は主に、新しいタスク/クラスを離散的な時間間隔で追加するインクリメンタルな分類設定に焦点を当てている。 このような「オフライン」設定は、エージェントがタスクを追加しても時間制限なく複数の学習エポックを実行できるため、効果的かつ効率的に学習するエージェントの能力を評価するものではない。 タスク境界のない単一連続ストリームであるオンライン連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 訓練されたモデルは、情報保持を評価するために履歴データに基づいて評価される。 大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを導入する。 大規模解析により、連続学習における勾配に基づく最適化の重要かつ未観測の現象を特定し、実データを用いて勾配に基づくオンライン連続学習を改善する効果的な戦略を提案する。 ソースコードとデータセットは、 https://github.com/IntelLabs/continuallearning.comで入手できる。

関連論文リスト

• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Online Continual Learning For Interactive Instruction Following Agents [20.100312650193228]
  このような学習シナリオは,ロボットエージェントが世界を探索し,知覚する上で,継続的に世界を学ぶことが求められているため,現実的ではない,と我々は主張する。 本研究では,新しい行動学習と新しい環境学習という,エンボディエージェントのための2つの連続学習環境を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:33:48Z)
• The Generalization Gap in Offline Reinforcement Learning [26.583205544712403]
  オフライン学習アルゴリズムは、オンライン学習アルゴリズムよりも、新しい環境でパフォーマンスが悪くなります。 行動クローニングは強力なベースラインであり、最先端のオフラインRLおよびシーケンスモデリングアプローチより優れている。
  論文  参考訳（メタデータ） (2023-12-10T03:40:52Z)
• COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
  本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。 オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。 我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
  論文  参考訳（メタデータ） (2023-10-04T17:49:48Z)
• VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime Inference [36.61783715563126]
  生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。 ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。 本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:54:49Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Nonstationary data stream classification with online active learning and siamese neural networks [11.501721946030779]
  予測モデルをオンザフライでトレーニングするオンライン学習方法に対する新たなニーズ。 しかし、一連のオープンな課題は、実際にデプロイを妨げている。 本稿では,オンラインアクティブラーニング,シアムネットワーク,マルチキューメモリを組み合わせることで,これらの課題に対処するActiSiameseアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T17:16:03Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Drinking from a Firehose: Continual Learning with Web-scale Natural Language [109.80198763438248]
  大規模に連続学習を行う自然環境について検討する。 Twitterの投稿の膨大なデータセットを集めています。 前例のない規模で連続学習アルゴリズムの厳密な評価を行う。
  論文  参考訳（メタデータ） (2020-07-18T05:40:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。