論文の概要: Understanding AI Cognition: A Neural Module for Inference Inspired by
Human Memory Mechanisms
- arxiv url: http://arxiv.org/abs/2310.09297v1
- Date: Sun, 1 Oct 2023 08:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 02:40:32.974425
- Title: Understanding AI Cognition: A Neural Module for Inference Inspired by
Human Memory Mechanisms
- Title（参考訳）: AI認知を理解する:人間の記憶メカニズムにインスパイアされた推論のためのニューラルネットワークモジュール
- Authors: Xiangyu Zeng, Jie Lin, Piao Hu, Ruizheng Huang, Zhicheng Zhang
- Abstract要約: 本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、作業と長期記憶から構成され、後者は、より蓄積された知識と経験を保持するために高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
- 参考スコア（独自算出の注目度）: 10.094090483211966
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: How humans and machines make sense of current inputs for relation reasoning
and question-answering while putting the perceived information into context of
our past memories, has been a challenging conundrum in cognitive science and
artificial intelligence. Inspired by human brain's memory system and cognitive
architectures, we propose a PMI framework that consists of perception, memory
and inference components. Notably, the memory module comprises working and
long-term memory, with the latter endowed with a higher-order structure to
retain more accumulated knowledge and experiences. Through a differentiable
competitive write access, current perceptions update working memory, which is
later merged with long-term memory via outer product associations, averting
memory overflow and minimizing information conflicts. In the inference module,
relevant information is retrieved from two separate memory origins and
associatively integrated to attain a more comprehensive and precise
interpretation of current perceptions. We exploratively apply our PMI to
improve prevailing Transformers and CNN models on question-answering tasks like
bAbI-20k and Sort-of-CLEVR datasets, as well as relation calculation and image
classification tasks, and in each case, our PMI enhancements consistently
outshine their original counterparts significantly. Visualization analyses
reveal that memory consolidation, along with the interaction and integration of
information from diverse memory sources, substantially contributes to the model
effectiveness on inference tasks.
- Abstract（参考訳）: 人間と機械が現在の関係推論や質問の入力をどのように理解し、知覚された情報を過去の記憶の文脈に置くかは、認知科学と人工知能の難題だった。
人間の脳の記憶システムと認知アーキテクチャに触発され,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
特に、メモリモジュールは、作業および長期記憶を含み、後者は、より多くの蓄積された知識と経験を保持する高次構造を付与される。
異なる競合する書き込みアクセスを通じて、現在の知覚はワーキングメモリを更新し、後に外部製品アソシエーションを通じて長期記憶とマージされ、メモリオーバーフローを回避し、情報の衝突を最小限にする。
推論モジュールでは、2つの別々のメモリ起源から関連情報を検索し、連想的に統合して現在の知覚をより包括的かつ正確に解釈する。
我々は、bAbI-20kやSolt-of-CLEVRデータセットなどの質問応答タスク、関係計算や画像分類タスクに対して、PMIを爆発的に適用し、PMIの強化により、元のモデルを大きく上回っている。
可視化解析により、様々なメモリソースからの情報の相互作用と統合とともに、メモリ統合が推論タスクにおけるモデルの有効性に大きく寄与することが明らかとなった。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - Memory Sharing for Large Language Model based Agents [43.53494041932615]
本稿では,リアルタイムメモリフィルタ,ストレージ,検索を統合し,In-Context学習プロセスを強化するためのフレームワークであるMemory Sharingを紹介する。
実験の結果,MSフレームワークはオープンな質問に対処する際のエージェントの性能を大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-04-15T17:57:30Z) - A Memory Model for Question Answering from Streaming Data Supported by
Rehearsal and Anticipation of Coreference Information [19.559853775982386]
本稿では,ストリーミングデータから質問応答タスクを解くための重要な情報に入力を処理しながら,リハーサルと予測を行うメモリモデルを提案する。
我々は,bAbIデータセットと大規模テキスト(Narrative QA)およびビデオ(ActivityNet-QA)質問応答データセットを用いて,我々のモデルを検証した。
論文 参考訳（メタデータ） (2023-05-12T15:46:36Z) - Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。
既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。
我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文 参考訳（メタデータ） (2023-04-11T12:12:05Z) - On the Relationship Between Variational Inference and Auto-Associative
Memory [68.8204255655161]
本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。
得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
論文 参考訳（メタデータ） (2022-10-14T14:18:47Z) - AIGenC: An AI generalisation model via creativity [1.933681537640272]
本稿では,創造性に関する認知理論に触発された計算モデル(AIGenC)を紹介する。
人工エージェントが変換可能な表現を学習、使用、生成するために必要なコンポーネントを配置する。
本稿では, 人工エージェントの配当効率を向上するモデルの有効性について論じる。
論文 参考訳（メタデータ） (2022-05-19T17:43:31Z) - Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。
本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
論文 参考訳（メタデータ） (2022-04-07T17:34:01Z) - A Cognitive Architecture for Machine Consciousness and Artificial Superintelligence: Thought Is Structured by the Iterative Updating of Working Memory [0.0]
本稿では、コンピュータ内での人間的な思考プロセスのシミュレートのための分析フレームワークを提供する。
注意と記憶がどのように構造化され、更新され、思考ストリームへの連想的な追加を探すために利用されるかを記述する。
論文 参考訳（メタデータ） (2022-03-29T22:28:30Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳（メタデータ） (2020-10-20T15:05:26Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳（メタデータ） (2020-07-21T07:34:33Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。