論文の概要: Selective Replay Enhances Learning in Online Continual Analogical Reasoning

• arxiv url: http://arxiv.org/abs/2103.03987v1
• Date: Sat, 6 Mar 2021 00:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 16:05:41.736113
• Title: Selective Replay Enhances Learning in Online Continual Analogical Reasoning
• Title（参考訳）: オンライン・コンティニュアル・アナロジー推論における選択リプレイの学習促進
• Authors: Tyler L. Hayes and Christopher Kanan
• Abstract要約: 連続学習では、システムは壊滅的な忘れずに、定常でないデータストリームやバッチから学習する。 この問題は教師付き画像分類と強化学習でよく研究されているが、抽象的推論のために設計されたニューラルネットワークにおける連続学習はまだ研究されていない。
• 参考スコア（独自算出の注目度）: 44.794321821598395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In continual learning, a system learns from non-stationary data streams or batches without catastrophic forgetting. While this problem has been heavily studied in supervised image classification and reinforcement learning, continual learning in neural networks designed for abstract reasoning has not yet been studied. Here, we study continual learning of analogical reasoning. Analogical reasoning tests such as Raven's Progressive Matrices (RPMs) are commonly used to measure non-verbal abstract reasoning in humans, and recently offline neural networks for the RPM problem have been proposed. In this paper, we establish experimental baselines, protocols, and forward and backward transfer metrics to evaluate continual learners on RPMs. We employ experience replay to mitigate catastrophic forgetting. Prior work using replay for image classification tasks has found that selectively choosing the samples to replay offers little, if any, benefit over random selection. In contrast, we find that selective replay can significantly outperform random selection for the RPM task.
• Abstract（参考訳）: 連続学習では、システムは壊滅的な忘れずに、定常でないデータストリームやバッチから学習する。 この問題は教師付き画像分類と強化学習でよく研究されているが、抽象的推論のために設計されたニューラルネットワークにおける連続学習はまだ研究されていない。 本稿では,類推の連続学習について考察する。 Raven's Progressive Matrices (RPM) のような解析的推論テストは、ヒトの非言語的抽象的推論を測るために一般的に用いられ、最近ではRPM問題に対するオフラインニューラルネットワークが提案されている。 本稿では,RPMの連続学習者を評価するための実験的なベースライン,プロトコル,フォワードおよびバックワード転送メトリックを確立する。 悲惨な忘れを緩和するために経験のリプレイを採用します。 画像分類タスクにリプレイを用いた以前の研究では、リプレイするサンプルを選択的に選択することは、ランダム選択よりも利益が少ないことが判明した。 対照的に、選択的リプレイはRPMタスクのランダム選択を大幅に上回る可能性がある。

関連論文リスト

• Watch Your Step: Optimal Retrieval for Continual Learning at Scale [1.7265013728931]
  連続学習では、モデルは古いタスクと新しいタスクの間の干渉を最小限にしながら、時間とともに漸進的に学習する。 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:35:35Z)
• Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• Multi-Viewpoint and Multi-Evaluation with Felicitous Inductive Bias Boost Machine Abstract Reasoning Ability [6.33280703577189]
  帰納的バイアス,意図的設計,あるいはセレンディピティ的に一致したエンドツーエンドのニューラルネットワークは,RPM問題を解くことができることを示す。 我々の研究は、多面的評価を伴うマルチ視点が、推論を成功させるための重要な学習戦略であることも明らかにしている。 これらの結果は、認識を超えて、抽象的推論に向けたAIの能力の検査として役立ちたいと思っています。
  論文  参考訳（メタデータ） (2022-10-26T17:15:44Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Unsupervised Abstract Reasoning for Raven's Problem Matrices [9.278113063631643]
  Raven's Progressive Matrices (RPM) は人間の知能と非常に相関している。 本稿では,RPM問題の解法として,教師なし学習法を提案する。 我々の手法は教師付きアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-09-21T07:44:58Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。