Fugu-MT 論文翻訳(概要): Multi-Modal Cognitive Maps based on Neural Networks trained on Successor Representations

論文の概要: Multi-Modal Cognitive Maps based on Neural Networks trained on Successor Representations

arxiv url: http://arxiv.org/abs/2401.01364v1
Date: Fri, 22 Dec 2023 12:44:15 GMT
ステータス: 処理完了
システム内更新日: 2024-01-15 10:09:50.022292
Title: Multi-Modal Cognitive Maps based on Neural Networks trained on Successor Representations
Title（参考訳）: 継承表現を訓練したニューラルネットワークに基づくマルチモーダル認知マップ
Authors: Paul Stoewer, Achim Schilling, Andreas Maier and Patrick Krauss
Abstract要約: 認知地図(Cognitive map)は、脳が記憶を効率的に整理し、そこからコンテキストを取り出す方法に関する概念である。そこで我々は,細胞動態と認知地図表現をモデル化可能な後続表現を用いたマルチモーダルニューラルネットワークを構築した。ネットワークは、新しい入力とトレーニングデータベースの類似性を学習し、認知地図の表現を成功させる。
参考スコア（独自算出の注目度）: 3.4916237834391874
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Cognitive maps are a proposed concept on how the brain efficiently organizes memories and retrieves context out of them. The entorhinal-hippocampal complex is heavily involved in episodic and relational memory processing, as well as spatial navigation and is thought to built cognitive maps via place and grid cells. To make use of the promising properties of cognitive maps, we set up a multi-modal neural network using successor representations which is able to model place cell dynamics and cognitive map representations. Here, we use multi-modal inputs consisting of images and word embeddings. The network learns the similarities between novel inputs and the training database and therefore the representation of the cognitive map successfully. Subsequently, the prediction of the network can be used to infer from one modality to another with over $90\%$ accuracy. The proposed method could therefore be a building block to improve current AI systems for better understanding of the environment and the different modalities in which objects appear. The association of specific modalities with certain encounters can therefore lead to context awareness in novel situations when similar encounters with less information occur and additional information can be inferred from the learned cognitive map. Cognitive maps, as represented by the entorhinal-hippocampal complex in the brain, organize and retrieve context from memories, suggesting that large language models (LLMs) like ChatGPT could harness similar architectures to function as a high-level processing center, akin to how the hippocampus operates within the cortex hierarchy. Finally, by utilizing multi-modal inputs, LLMs can potentially bridge the gap between different forms of data (like images and words), paving the way for context-awareness and grounding of abstract concepts through learned associations, addressing the grounding problem in AI.
Abstract（参考訳）: 認知地図(Cognitive map)は、脳が記憶を効率的に整理し、そこからコンテキストを取り出す方法に関する概念である。 Entorhinal-hippocampal complexは、エピソードやリレーショナルメモリ処理、空間ナビゲーションに深く関わっており、場所や格子細胞を介して認知地図を構築すると考えられている。認知地図の有望な特性を利用するため,我々は,細胞動態と認知地図表現をモデル化可能な後継表現を用いたマルチモーダルニューラルネットワークを構築した。ここでは、画像と単語埋め込みからなるマルチモーダル入力を用いる。ネットワークは、新規入力とトレーニングデータベースとの類似性を学習し、認知地図の表現を成功させる。その後、ネットワークの予測は、1つのモダリティから別のモダリティへの推測に90\%以上の精度で使用できる。したがって、提案手法は、現在のAIシステムを改善するためのビルディングブロックであり、オブジェクトが現れる環境と異なるモダリティをよりよく理解することができる。したがって、特定のモダリティと特定の遭遇との関連性は、類似した情報が少なく、学習された認知地図から追加情報が推測されるような、新たな状況における文脈認識につながる可能性がある。脳のentorhinal-hippocampal complex(entorhinal-hippocampal complex)で表される認知地図は、記憶からコンテキストを整理し取り出すもので、chatgptのような大規模言語モデル(llm)が類似したアーキテクチャを利用して高レベルの処理中心として機能することを示唆している。最後に、マルチモーダル入力を利用することで、LLMは、さまざまな形式のデータ(画像や単語など)間のギャップを埋め、学習された関連を通じてコンテキスト認識と抽象概念の基盤を築き、AIの基盤問題に対処することができる。

関連論文リスト

Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文参考訳（メタデータ） (2024-06-07T08:32:30Z)
Finding Concept Representations in Neural Networks with Self-Organizing Maps [2.817412580574242]
ニューラルネットワークの層活性化が抽象概念の神経表現にどのように対応するかを調べるために,自己組織化マップをどのように利用できるかを示す。実験の結果, 概念の活性化マップの相対エントロピーは適切な候補であり, 概念の神経表現を同定し, 特定するための方法論として利用できることがわかった。
論文参考訳（メタデータ） (2023-12-10T12:10:34Z)
Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps [59.648646222905235]
そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
論文参考訳（メタデータ） (2023-09-10T13:06:45Z)
Conceptual Cognitive Maps Formation with Neural Successor Networks and Word Embeddings [7.909848251752742]
本稿では,3つの概念の認知マップを構築するために,後継表現とニューラルネットワークと単語埋め込みを用いたモデルを提案する。ネットワークは、2つの異なるスケールマップを順応的に学習し、関連する既存の表現に近接して新しい情報を配置する。我々のモデルは、任意の入力にマルチモーダルコンテキスト情報を提供することで、現在のAIモデルを改善する可能性を示唆している。
論文参考訳（メタデータ） (2023-07-04T09:11:01Z)
Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文参考訳（メタデータ） (2023-05-21T08:29:16Z)
Neural Network based Formation of Cognitive Maps of Semantic Spaces and the Emergence of Abstract Concepts [7.909848251752742]
特徴ベクトルとして符号化された32種類の動物種に基づいて意味空間の認知マップを学習するニューラルネットワークを提案する。ネットワークは、後継表現の原理に基づいて、約30%の精度で「アニマル空間」の認知マップを構築する。微粒な認知地図では、動物ベクターは特徴空間に均等に分布している。対照的に、粗粒の地図では、動物ベクターは生物学的階級に応じて高度にクラスター化されている。
論文参考訳（メタデータ） (2022-10-28T11:16:33Z)
Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文参考訳（メタデータ） (2022-05-06T03:45:36Z)
Neural Network based Successor Representations of Space and Language [6.748976209131109]
本稿では,構造化知識のマルチスケールの後継表現をニューラルネットワークで学習する手法を提案する。すべてのシナリオにおいて、ニューラルネットワークは、後続表現を構築することによって基盤構造を正しく学習し、近似する。我々は、認知地図とニューラルネットワークに基づく構造化知識の継承表現が、人工知能への深層学習の短さを克服する有望な方法を提供すると結論付けた。
論文参考訳（メタデータ） (2022-02-22T21:52:46Z)
Can the brain use waves to solve planning problems? [62.997667081978825]
このような課題を解くニューラルネットワークモデルを提案する。このモデルは、哺乳類の新皮質と海馬に関する幅広い実験的な発見と互換性がある。
論文参考訳（メタデータ） (2021-10-11T11:07:05Z)
CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文参考訳（メタデータ） (2021-06-10T07:10:25Z)
Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文参考訳（メタデータ） (2020-05-22T14:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。