論文の概要: Efficient Continual Learning with Modular Networks and Task-Driven Priors

• arxiv url: http://arxiv.org/abs/2012.12631v2
• Date: Fri, 12 Feb 2021 18:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 00:49:34.353532
• Title: Efficient Continual Learning with Modular Networks and Task-Driven Priors
• Title（参考訳）: モジュール型ネットワークとタスク駆動型事前学習による効率的連続学習
• Authors: Tom Veniat and Ludovic Denoyer and Marc'Aurelio Ranzato
• Abstract要約: 継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。 新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。 学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
• 参考スコア（独自算出の注目度）: 31.03712334701338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing literature in Continual Learning (CL) has focused on overcoming catastrophic forgetting, the inability of the learner to recall how to perform tasks observed in the past. There are however other desirable properties of a CL system, such as the ability to transfer knowledge from previous tasks and to scale memory and compute sub-linearly with the number of tasks. Since most current benchmarks focus only on forgetting using short streams of tasks, we first propose a new suite of benchmarks to probe CL algorithms across these new axes. Finally, we introduce a new modular architecture, whose modules represent atomic skills that can be composed to perform a certain task. Learning a task reduces to figuring out which past modules to re-use, and which new modules to instantiate to solve the current task. Our learning algorithm leverages a task-driven prior over the exponential search space of all possible ways to combine modules, enabling efficient learning on long streams of tasks. Our experiments show that this modular architecture and learning algorithm perform competitively on widely used CL benchmarks while yielding superior performance on the more challenging benchmarks we introduce in this work.
• Abstract（参考訳）: 継続学習(continual learning:cl)における既存の文献は、過去のタスクの実施方法を思い出せない破滅的な忘れを克服することに焦点を当てている。 しかし、clシステムの他の望ましい特性として、以前のタスクから知識を転送したり、メモリをスケールしたり、タスク数でサブ線形に計算したりできる。 現在のベンチマークはタスクの短いストリームを忘れることだけに焦点を当てているため、まず、これらの新しい軸をまたいでclアルゴリズムを調べるための新しいベンチマークスイートを提案します。 最後に、モジュールが特定のタスクを実行するために構成できるアトミックなスキルを表す新しいモジュールアーキテクチャを紹介します。 タスクの学習は、どの過去のモジュールを再利用するか、どの新しいモジュールをインスタンス化して現在のタスクを解決するかを判断するのを減らす。 学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。 このモジュラーアーキテクチャと学習アルゴリズムは、広く使われているCLベンチマークで競争力を発揮しつつ、本研究で導入したより困難なベンチマークでは優れたパフォーマンスが得られることを示す。

関連論文リスト

• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Self-paced Weight Consolidation for Continual Learning [39.27729549041708]
  連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。 継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T13:07:41Z)
• LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
  LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。 宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。 我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-06-05T23:32:26Z)
• Neural Weight Search for Scalable Task Incremental Learning [6.413209417643468]
  タスクインクリメンタル学習は,新たなタスクを学習しながら,それまでの学習したタスクのパフォーマンスを維持することを目的として,破滅的な忘れを解消する。 有望なアプローチの1つは、将来のタスクのために個々のネットワークやサブネットワークを構築することである。 これにより、新しいタスクに対する余分な負担を省き、この問題に対処する方法がタスクインクリメンタルな学習においてオープンな問題として残されているため、メモリの増大が続く。
  論文  参考訳（メタデータ） (2022-11-24T23:30:23Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Toward Sustainable Continual Learning: Detection and Knowledge Repurposing of Similar Tasks [31.095642850920385]
  本稿では,連続学習者が類似タスクと異種タスクを混在させるパラダイムを提案する。 本稿では,追加学習を必要としないタスク類似度検出機能を用いた連続学習フレームワークを提案する。 実験の結果,提案フレームワークは広く使用されているコンピュータビジョンのベンチマークで競合的に動作することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T19:35:30Z)
• Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
  連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。 既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。 モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-03T14:31:59Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。