論文の概要: The Tensor Brain: Semantic Decoding for Perception and Memory
- arxiv url: http://arxiv.org/abs/2001.11027v3
- Date: Mon, 10 Feb 2020 08:41:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 20:37:00.627281
- Title: The Tensor Brain: Semantic Decoding for Perception and Memory
- Title（参考訳）: テンソル脳:知覚と記憶のための意味的デコーディング
- Authors: Volker Tresp and Sahand Sharifzadeh and Dario Konopatzki and Yunpu Ma
- Abstract要約: 我々は知識グラフとテンソルの数学的モデルを用いて知覚と記憶を分析する。
知覚と記憶の生物学的実現は情報処理に制約を課すと主張する。
特に,明示的な認識と宣言的記憶は意味的デコーダを必要とすることを示唆する。
- 参考スコア（独自算出の注目度）: 25.49830575143093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyse perception and memory, using mathematical models for knowledge
graphs and tensors, to gain insights into the corresponding functionalities of
the human mind. Our discussion is based on the concept of propositional
sentences consisting of \textit{subject-predicate-object} (SPO) triples for
expressing elementary facts. SPO sentences are the basis for most natural
languages but might also be important for explicit perception and declarative
memories, as well as intra-brain communication and the ability to argue and
reason. A set of SPO sentences can be described as a knowledge graph, which can
be transformed into an adjacency tensor. We introduce tensor models, where
concepts have dual representations as indices and associated embeddings, two
constructs we believe are essential for the understanding of implicit and
explicit perception and memory in the brain. We argue that a biological
realization of perception and memory imposes constraints on information
processing. In particular, we propose that explicit perception and declarative
memories require a semantic decoder, which, in a simple realization, is based
on four layers: First, a sensory memory layer, as a buffer for sensory input,
second, an index layer representing concepts, third, a memoryless
representation layer for the broadcasting of information ---the "blackboard",
or the "canvas" of the brain--- and fourth, a working memory layer as a
processing center and data buffer. We discuss the operations of the four layers
and relate them to the global workspace theory. In a Bayesian brain
interpretation, semantic memory defines the prior for observable triple
statements. We propose that ---in evolution and during development--- semantic
memory, episodic memory, and natural language evolved as emergent properties in
agents' process to gain a deeper understanding of sensory information.
- Abstract（参考訳）: 我々は、知識グラフとテンソルの数学的モデルを用いて知覚と記憶を分析し、人間の心の機能に関する洞察を得る。
我々の議論は,初等的事実を表現するための三重項である \textit{subject-predicate-object} (spo) からなる命題文の概念に基づいている。
spo文は、ほとんどの自然言語の基礎であるが、明示的な知覚や宣言的記憶だけでなく、脳内コミュニケーションや議論や推論の能力にも重要である。
SPO文の集合は知識グラフとして記述することができ、隣接テンソルに変換することができる。
我々は、概念が指標として二重表現と関連する埋め込みを持つテンソルモデルを導入し、脳内の暗黙的および明示的な知覚と記憶を理解する上で不可欠な2つの構成要素を紹介する。
知覚と記憶の生物学的実現は情報処理に制約を課すと主張する。
特に、明示的な認識と宣言的記憶は、単純な実現において、感覚記憶層を感覚入力のためのバッファとして、第2、情報放送のためのインデックス層として、第3、脳の「ブラックボード」または「キャンバス」として、第4、処理センタとしてのワーキングメモリ層とデータバッファとして、4つのレイヤに基づいて、意味的デコーダを必要とすることを提案する。
これら4層の操作について論じ,グローバルワークスペース理論に関連付ける。
ベイズ脳の解釈では、セマンティックメモリは観測可能な三項文の先行を定義する。
本研究では, エージェントのプロセスにおける創発的特性として, セマンティックメモリ, エピソードメモリ, 自然言語が進化し, 感覚情報の理解を深めることを提案する。
関連論文リスト
- How the (Tensor-) Brain uses Embeddings and Embodiment to Encode Senses and Decode Symbols [26.516135696182392]
近年の発展を含むテンソル脳モデルの概要について概説する。
表象層は、意識研究からの象徴的なグローバルワークスペースのモデルである。
インデックス層には、概念、時間インスタンス、述語のためのシンボルが含まれている。
論文 参考訳（メタデータ） (2024-09-19T15:45:38Z) - Hierarchical Working Memory and a New Magic Number [1.024113475677323]
本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。
我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
論文 参考訳（メタデータ） (2024-08-14T16:03:47Z) - Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better
Account for Brain Language Representations? [30.495681024162835]
我々は、ニューラルデコーディングにおいて、プロンプト調整された表現と微調整された表現を比較した。
より脳に一貫性のあるチューニング手法では、脳データと相関する表現が得られます。
これは、私たちの脳が浅い構文情報よりもきめ細かい概念情報を符号化していることを示している。
論文 参考訳（メタデータ） (2023-10-03T07:34:30Z) - Semantic HELM: A Human-Readable Memory for Reinforcement Learning [9.746397419479445]
人間の言語における過去の出来事を表現する新しい記憶機構を提案する。
私たちは、部分的に観測可能な環境のセットでメモリメカニズムをトレーニングし、それがメモリコンポーネントを必要とするタスクに優れていることを見つけます。
メモリメカニズムは人間が読めるので、エージェントのメモリを覗き見して、重要な情報が保存されているかどうかを確認することができます。
論文 参考訳（メタデータ） (2023-06-15T17:47:31Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2023-05-16T03:50:38Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z) - The Tensor Brain: A Unified Theory of Perception, Memory and Semantic
Decoding [16.37225919719441]
本稿では,認識と記憶の統一的計算理論を提案する。
我々のモデルでは、知覚、エピソード記憶、セマンティック記憶は異なる機能モードと操作モードで実現される。
論文 参考訳（メタデータ） (2021-09-27T23:32:44Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳（メタデータ） (2020-05-22T14:29:51Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。