論文の概要: Neural Network based Successor Representations of Space and Language
- arxiv url: http://arxiv.org/abs/2202.11190v1
- Date: Tue, 22 Feb 2022 21:52:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 05:24:24.770338
- Title: Neural Network based Successor Representations of Space and Language
- Title（参考訳）: 空間と言語の後継表現に基づくニューラルネットワーク
- Authors: Paul Stoewer, Christian Schlieker, Achim Schilling, Claus Metzner,
Andreas Maier and Patrick Krauss
- Abstract要約: 本稿では,構造化知識のマルチスケールの後継表現をニューラルネットワークで学習する手法を提案する。
すべてのシナリオにおいて、ニューラルネットワークは、後続表現を構築することによって基盤構造を正しく学習し、近似する。
我々は、認知地図とニューラルネットワークに基づく構造化知識の継承表現が、人工知能への深層学習の短さを克服する有望な方法を提供すると結論付けた。
- 参考スコア（独自算出の注目度）: 6.748976209131109
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does the mind organize thoughts? The hippocampal-entorhinal complex is
thought to support domain-general representation and processing of structural
knowledge of arbitrary state, feature and concept spaces. In particular, it
enables the formation of cognitive maps, and navigation on these maps, thereby
broadly contributing to cognition. It has been proposed that the concept of
multi-scale successor representations provides an explanation of the underlying
computations performed by place and grid cells. Here, we present a neural
network based approach to learn such representations, and its application to
different scenarios: a spatial exploration task based on supervised learning, a
spatial navigation task based on reinforcement learning, and a non-spatial task
where linguistic constructions have to be inferred by observing sample
sentences. In all scenarios, the neural network correctly learns and
approximates the underlying structure by building successor representations.
Furthermore, the resulting neural firing patterns are strikingly similar to
experimentally observed place and grid cell firing patterns. We conclude that
cognitive maps and neural network-based successor representations of structured
knowledge provide a promising way to overcome some of the short comings of deep
learning towards artificial general intelligence.
- Abstract（参考訳）: 思考をどう整理するか?
海馬-海馬複合体は、任意の状態、特徴、概念空間の構造的知識のドメイン一般表現と処理をサポートすると考えられている。
特に、認知地図の形成とこれらの地図のナビゲーションを可能にし、それによって認知に広く寄与する。
マルチスケールの後継表現の概念は、位置と格子セルによって実行される基礎的な計算を説明するものであることが提案されている。
本稿では、そのような表現を学習するためのニューラルネットワークに基づくアプローチと、教師付き学習に基づく空間探索タスク、強化学習に基づく空間ナビゲーションタスク、サンプル文を観察することで言語構成を推測しなければならない非空間タスクなど、さまざまなシナリオに適用する。
すべてのシナリオにおいて、ニューラルネットワークは、後続表現を構築することによって基盤構造を正しく学習し、近似する。
さらに、得られた神経発火パターンは実験的に観察された場所や格子状細胞発火パターンと著しく類似している。
認知地図とニューラルネットワークに基づく構造的知識の継承表現は、人工知能に対するディープラーニングの短期的進歩を克服する有望な手段となると結論づける。
関連論文リスト
- Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。
我々のアプローチは、人間と計算コストを最小限に抑えたニューラルネットワークの振る舞いに関する有意義な洞察を提供する。
論文 参考訳（メタデータ） (2024-10-21T20:19:00Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Multi-Modal Cognitive Maps based on Neural Networks trained on Successor
Representations [3.4916237834391874]
認知地図(Cognitive map)は、脳が記憶を効率的に整理し、そこからコンテキストを取り出す方法に関する概念である。
そこで我々は,細胞動態と認知地図表現をモデル化可能な後続表現を用いたマルチモーダルニューラルネットワークを構築した。
ネットワークは、新しい入力とトレーニングデータベースの類似性を学習し、認知地図の表現を成功させる。
論文 参考訳（メタデータ） (2023-12-22T12:44:15Z) - Finding Concept Representations in Neural Networks with Self-Organizing
Maps [2.817412580574242]
ニューラルネットワークの層活性化が抽象概念の神経表現にどのように対応するかを調べるために,自己組織化マップをどのように利用できるかを示す。
実験の結果, 概念の活性化マップの相対エントロピーは適切な候補であり, 概念の神経表現を同定し, 特定するための方法論として利用できることがわかった。
論文 参考訳（メタデータ） (2023-12-10T12:10:34Z) - Conceptual Cognitive Maps Formation with Neural Successor Networks and
Word Embeddings [7.909848251752742]
本稿では,3つの概念の認知マップを構築するために,後継表現とニューラルネットワークと単語埋め込みを用いたモデルを提案する。
ネットワークは、2つの異なるスケールマップを順応的に学習し、関連する既存の表現に近接して新しい情報を配置する。
我々のモデルは、任意の入力にマルチモーダルコンテキスト情報を提供することで、現在のAIモデルを改善する可能性を示唆している。
論文 参考訳（メタデータ） (2023-07-04T09:11:01Z) - Multi-Object Navigation with dynamically learned neural implicit
representations [10.182418917501064]
本稿では,各エピソードにおいて動的に学習される2つのニューラル暗示表現を用いてニューラルネットワークを構築することを提案する。
マルチオブジェクトナビゲーションにおけるエージェントの評価を行い、暗黙的表現をメモリソースとして使用する場合の影響を高く示す。
論文 参考訳（メタデータ） (2022-10-11T04:06:34Z) - Learning with Capsules: A Survey [73.31150426300198]
カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。
CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
論文 参考訳（メタデータ） (2022-06-06T15:05:36Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳（メタデータ） (2020-05-22T14:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。