論文の概要: Self-recovery of memory via generative replay

• arxiv url: http://arxiv.org/abs/2301.06030v1
• Date: Sun, 15 Jan 2023 07:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 17:39:24.956076
• Title: Self-recovery of memory via generative replay
• Title（参考訳）: 生成再生による記憶の自己回復
• Authors: Zhenglong Zhou, Geshi Yeung, Anna C. Schapiro
• Abstract要約: 本稿では,記憶を自律的に回復するための適応的,脳的な能力によって生成的リプレイを増強する新しいアーキテクチャを提案する。 いくつかの継続的な学習タスクや環境にまたがって、アーキテクチャのこの能力を示す。
• 参考スコア（独自算出の注目度）: 0.8594140167290099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A remarkable capacity of the brain is its ability to autonomously reorganize memories during offline periods. Memory replay, a mechanism hypothesized to underlie biological offline learning, has inspired offline methods for reducing forgetting in artificial neural networks in continual learning settings. A memory-efficient and neurally-plausible method is generative replay, which achieves state of the art performance on continual learning benchmarks. However, unlike the brain, standard generative replay does not self-reorganize memories when trained offline on its own replay samples. We propose a novel architecture that augments generative replay with an adaptive, brain-like capacity to autonomously recover memories. We demonstrate this capacity of the architecture across several continual learning tasks and environments.
• Abstract（参考訳）: 脳の顕著な能力は、オフライン期間中に記憶を自律的に再構成する能力である。 生物学的オフライン学習を過小評価するメカニズムであるメモリリプレイ(Memory replay)は、連続的な学習環境での人工ニューラルネットワークの忘れを抑えるオフラインメソッドにインスピレーションを与えた。 連続的な学習ベンチマーク上でのアートパフォーマンスの状態を達成し、メモリ効率とニューラルネットワークによる再生を可能にする。 しかし、脳とは異なり、通常の生成的リプレイは、自身のリプレイサンプルでトレーニングされたオフライン時に記憶を自己組織化しない。 記憶を自律的に再生するための適応的な脳のような能力で生成再生を増強する新しいアーキテクチャを提案する。 このアーキテクチャのキャパシティを,複数の継続的学習タスクと環境にまたがって実証する。

関連論文リスト

• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Memory-Augmented Theory of Mind Network [59.9781556714202]
  社会的推論は、心の理論(ToM)の能力を必要とする。 ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。 我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。 この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
  論文  参考訳（メタデータ） (2023-01-17T14:48:58Z)
• Learning Human Cognitive Appraisal Through Reinforcement Memory Unit [63.83306892013521]
  逐次評価タスクにおける人間の認知評価の効果を生かしたリカレントニューラルネットワークのためのメモリ強調機構を提案する。 記憶増強機構を2つの正および負の強化記憶とともに評価状態を含む強化記憶ユニット(RMU)として概念化する。
  論文  参考訳（メタデータ） (2022-08-06T08:56:55Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks [0.0]
  人工ニューラルネットワークを用いた分類における潜在空間ベースのメモリリプレイの適用について検討する。 圧縮された潜在空間バージョンに、元のデータのごく一部だけを格納することで、従来のタスクの優れたパフォーマンスを維持できる。
  論文  参考訳（メタデータ） (2021-11-26T02:47:51Z)
• Brain-inspired feature exaggeration in generative replay for continual learning [4.682734815593623]
  新しいクラスを学ぶとき、以前に学んだクラスの内部表現はしばしば上書きされる。 神経科学の最近の進歩は、脳が自身の記憶干渉を避ける方法を発見した。 本稿では,クラス増分学習データセットCIFAR100の早期クラス分類における最先端性能について述べる。
  論文  参考訳（メタデータ） (2021-10-26T10:49:02Z)
• Learning offline: memory replay in biological and artificial reinforcement learning [1.0136215038345011]
  神経科学・AI分野におけるリプレイの機能的役割を概観する。 リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。 また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
  論文  参考訳（メタデータ） (2021-09-21T08:57:19Z)
• Replay in Deep Learning: Current Approaches and Missing Biological Elements [33.20770284464084]
  リプレイは1つ以上の神経パターンの再活性化である。 記憶形成、検索、統合において重要な役割を果たしていると考えられている。 哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
  論文  参考訳（メタデータ） (2021-04-01T15:19:08Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。