論文の概要: Memoria: Hebbian Memory Architecture for Human-Like Sequential Processing

• arxiv url: http://arxiv.org/abs/2310.03052v1
• Date: Wed, 4 Oct 2023 09:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 20:49:48.739746
• Title: Memoria: Hebbian Memory Architecture for Human-Like Sequential Processing
• Title（参考訳）: Memoria: ヒューマンライクなシーケンス処理のためのHebbianメモリアーキテクチャ
• Authors: Sangjun Park and JinYeong Bak
• Abstract要約: トランスフォーマーは、限られた容量のため、長い入力シーケンスで苦労する。 人間は入力からの関連情報のみを選択的に記憶し、使用する。 本稿では,ニューラルネットワークの長期依存性を高めるためにHebbian理論を適用した汎用メモリネットワークであるMemoriaを紹介する。
• 参考スコア（独自算出の注目度）: 7.012710335689297
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers have demonstrated their success in various domains and tasks. However, Transformers struggle with long input sequences due to their limited capacity. While one solution is to increase input length, endlessly stretching the length is unrealistic. Furthermore, humans selectively remember and use only relevant information from inputs, unlike Transformers which process all raw data from start to end. We introduce Memoria, a general memory network that applies Hebbian theory which is a major theory explaining human memory formulation to enhance long-term dependencies in neural networks. Memoria stores and retrieves information called engram at multiple memory levels of working memory, short-term memory, and long-term memory, using connection weights that change according to Hebb's rule. Through experiments with popular Transformer-based models like BERT and GPT, we present that Memoria significantly improves the ability to consider long-term dependencies in various tasks. Results show that Memoria outperformed existing methodologies in sorting and language modeling, and long text classification.
• Abstract（参考訳）: トランスフォーマーは様々なドメインやタスクで成功を収めている。 しかし、トランスフォーマーは容量が限られているため、長い入力シーケンスに苦しむ。 1つの解決策は入力長を増やすことであるが、無限に長さを伸ばすことは非現実的である。 さらに、人間は入力から関連する情報だけを選択的に記憶し、使用するが、トランスフォーマーは全ての生データを最初から最後まで処理する。 ニューラルネットワークの長期依存性を高めるために,人間の記憶の定式化を説明する主要な理論であるヘビアン理論を適用した汎用メモリネットワークであるMemoriaを紹介する。 Memoriaは、Hebbのルールに従って変化する接続重みを使って、複数のメモリレベル、短期記憶、長期記憶にengramと呼ばれる情報を格納し、取得する。 BERT や GPT などのTransformer ベースのモデルを用いた実験により,Memoria は様々なタスクにおける長期依存を考慮できる能力を大幅に向上することを示した。 その結果,Memoriaはソートや言語モデリング,長いテキスト分類において,既存の手法よりも優れていた。

関連論文リスト

• Hierarchical Working Memory and a New Magic Number [1.024113475677323]
  本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。 我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-08-14T16:03:47Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Deep learning reveals the common spectrum underlying multiple brain disorders in youth and elders from brain functional networks [53.257804915263165]
  ヒトの初期および後期の脳障害は、脳機能における病理学的変化を共有する可能性がある。 病理的共通性に関する神経画像データによる重要な証拠はいまだ発見されていない。 多地点機能磁気共鳴画像データを用いたディープラーニングモデルを構築し、健康的な制御から5つの異なる脳障害を分類する。
  論文  参考訳（メタデータ） (2023-02-23T09:22:05Z)
• Memory-Augmented Theory of Mind Network [59.9781556714202]
  社会的推論は、心の理論(ToM)の能力を必要とする。 ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。 我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。 この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
  論文  参考訳（メタデータ） (2023-01-17T14:48:58Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• A bio-inspired implementation of a sparse-learning spike-based hippocampus memory model [0.0]
  本研究では,海馬に基づくバイオインスパイアされた新しい記憶モデルを提案する。 記憶を覚えたり、キューから思い出したり、同じキューで他の人を学ぼうとする時の記憶を忘れたりできる。 この研究は、完全に機能するバイオインスパイアされたスパイクベースの海馬記憶モデルの最初のハードウェア実装を示す。
  論文  参考訳（メタデータ） (2022-06-10T07:48:29Z)
• Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks [0.0]
  人工ニューラルネットワークを用いた分類における潜在空間ベースのメモリリプレイの適用について検討する。 圧縮された潜在空間バージョンに、元のデータのごく一部だけを格納することで、従来のタスクの優れたパフォーマンスを維持できる。
  論文  参考訳（メタデータ） (2021-11-26T02:47:51Z)
• Memory and attention in deep learning [19.70919701635945]
  マシンのメモリ構成は避けられない。 ディープラーニングにおけるメモリモデリングの最近の進歩は、外部メモリ構築を中心に展開されている。 この論文の目的は、深層学習における記憶と注意に対する理解を深めることである。
  論文  参考訳（メタデータ） (2021-07-03T09:21:13Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Not All Memories are Created Equal: Learning to Forget by Expiring [49.053569908417636]
  本稿では,重要情報の保持を学習し,無関係情報を期限とするExpire-Spanを提案する。 この記憶を忘れることで、トランスフォーマーは数十万以上の前のタイムステップに効率的に参加することができます。 私たちは、Expire-Spanが数万の大きさの記憶にスケールできることを示し、信じられないほど長いコンテキストタスクに新しい状態を設定します。
  論文  参考訳（メタデータ） (2021-05-13T20:50:13Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。