論文の概要: Memory-Augmented Graph Neural Networks: A Neuroscience Perspective
- arxiv url: http://arxiv.org/abs/2209.10818v1
- Date: Thu, 22 Sep 2022 07:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 12:33:46.140916
- Title: Memory-Augmented Graph Neural Networks: A Neuroscience Perspective
- Title(参考訳): メモリ拡張グラフニューラルネットワーク:神経科学の展望
- Authors: Guixiang Ma, Vy Vo, Theodore Willke, Nesreen K. Ahmed
- Abstract要約: グラフニューラルネットワーク(GNN)は、データがグラフとして表現される多くの領域で広く使用されている。
最近の研究は、関連するタスクにおける表現力を改善するため、メモリによるGNNの増強を探求し始めた。
本稿では,メモリ拡張GNNの既存の文献を概観する。
- 参考スコア(独自算出の注目度): 7.425778537904557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have been extensively used for many domains
where data are represented as graphs, including social networks, recommender
systems, biology, chemistry, etc. Recently, the expressive power of GNNs has
drawn much interest. It has been shown that, despite the promising empirical
results achieved by GNNs for many applications, there are some limitations in
GNNs that hinder their performance for some tasks. For example, since GNNs
update node features mainly based on local information, they have limited
expressive power in capturing long-range dependencies among nodes in graphs. To
address some of the limitations of GNNs, several recent works started to
explore augmenting GNNs with memory for improving their expressive power in the
relevant tasks. In this paper, we provide a comprehensive review of the
existing literature of memory-augmented GNNs. We review these works through the
lens of psychology and neuroscience, which has established multiple memory
systems and mechanisms in biological brains. We propose a taxonomy of the
memory GNN works, as well as a set of criteria for comparing the memory
mechanisms. We also provide critical discussions on the limitations of these
works. Finally, we discuss the challenges and future directions for this area.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、生物学、化学など、データがグラフとして表現される多くの領域で広く使用されている。
近年、GNNの表現力に大きな関心が寄せられている。
多くのアプリケーションでGNNが実現した有望な実証結果にもかかわらず、いくつかのタスクのパフォーマンスを妨げているGNNにはいくつかの制限が存在することが示されている。
例えば、gnnはノードの機能を主にローカル情報に基づいて更新するので、グラフ内のノード間の長距離依存関係をキャプチャする表現力は限られている。
GNNのいくつかの制限に対処するため、最近のいくつかの研究は、関連するタスクにおける表現力を改善するために、メモリで強化されたGNNを探索し始めた。
本稿では,メモリ拡張GNNの既存の文献を包括的にレビューする。
我々は、生物学的脳に複数の記憶システムとメカニズムを確立した心理学と神経科学のレンズを通してこれらの研究をレビューする。
本稿では、メモリGNNの動作の分類法と、メモリメカニズムを比較するための一連の基準を提案する。
また、これらの作品の限界に関する批判的な議論も行っています。
最後に,この領域の課題と今後の方向性について論じる。
関連論文リスト
- Graph Neural Networks for Brain Graph Learning: A Survey [53.74244221027981]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのマイニングにおいて大きな優位性を示している。
脳障害解析のための脳グラフ表現を学習するGNNが最近注目を集めている。
本稿では,GNNを利用した脳グラフ学習の成果をレビューすることで,このギャップを埋めることを目的としている。
論文 参考訳(メタデータ) (2024-06-01T02:47:39Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Survey on Memory-Augmented Neural Networks: Cognitive Insights to AI
Applications [4.9008611361629955]
メモリ拡張ニューラルネットワーク(MANN)は、ヒューマンライクなメモリプロセスをAIに混ぜる。
本研究は, ホップフィールドネットワーク, ニューラルチューリングマシン, 相関行列記憶, メムフォーマ, ニューラルアテンション記憶などの高度なアーキテクチャについて検討した。
自然言語処理、コンピュータビジョン、マルチモーダルラーニング、検索モデルにまたがるMANNの現実的利用に潜んでいる。
論文 参考訳(メタデータ) (2023-12-11T06:05:09Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Memoria: Resolving Fateful Forgetting Problem through Human-Inspired Memory Architecture [5.9360953869782325]
本稿では,人工ニューラルネットワークのメモリシステムであるMemoriaを紹介する。
その結果, 分類, 言語モデリング, 分類の多様なタスクにおいて, Memoriaの有効性が証明された。
エングラム分析により、記憶は人間の記憶の特徴である優位性、傾向、時間的連続効果を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-04T09:40:46Z) - Implementing engrams from a machine learning perspective: matching for
prediction [0.0]
ニューラルネットワークを用いてエングラムを実装するコンピュータシステムを設計する方法について提案する。
オートエンコーダをベースとして,情報を圧縮形式で保存・検索するためのインデックスとして潜時ニューラルネットワークを提案する。
我々は、異なるタイプの感覚入力に対応する潜時神経空間における異なる状態が同期活性化によってどのようにリンクされるかを検討する。
論文 参考訳(メタデータ) (2023-03-01T10:05:40Z) - Memory-Augmented Theory of Mind Network [59.9781556714202]
社会的推論は、心の理論(ToM)の能力を必要とする。
ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。
我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。
この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
論文 参考訳(メタデータ) (2023-01-17T14:48:58Z) - A bio-inspired implementation of a sparse-learning spike-based
hippocampus memory model [0.0]
本研究では,海馬に基づくバイオインスパイアされた新しい記憶モデルを提案する。
記憶を覚えたり、キューから思い出したり、同じキューで他の人を学ぼうとする時の記憶を忘れたりできる。
この研究は、完全に機能するバイオインスパイアされたスパイクベースの海馬記憶モデルの最初のハードウェア実装を示す。
論文 参考訳(メタデータ) (2022-06-10T07:48:29Z) - Neuromorphic Artificial Intelligence Systems [58.1806704582023]
フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。
この記事では、そのような制限と、それらが緩和される方法について論じる。
これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
論文 参考訳(メタデータ) (2022-05-25T20:16:05Z) - Memory and attention in deep learning [19.70919701635945]
マシンのメモリ構成は避けられない。
ディープラーニングにおけるメモリモデリングの最近の進歩は、外部メモリ構築を中心に展開されている。
この論文の目的は、深層学習における記憶と注意に対する理解を深めることである。
論文 参考訳(メタデータ) (2021-07-03T09:21:13Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳(メタデータ) (2020-05-22T14:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。