論文の概要: MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings
- arxiv url: http://arxiv.org/abs/2511.19279v1
- Date: Mon, 24 Nov 2025 16:29:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.317689
- Title: MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings
- Title（参考訳）: MapFormer: 入力依存型位置埋め込みを用いた認知マップの自己教師付き学習
- Authors: Victor Rambaud, Salvador Mascarenhas, Yair Lakretz,
- Abstract要約: 認知地図は、世界の実体間の抽象的な関係を符号化する内部モデルである。
本研究では,Transformerモデルに基づく新しいアーキテクチャであるMapFormerを紹介し,観測データから認識マップを学習する。
MapFormerは、認知マップを生み出す神経メカニズムを説明することによって、神経科学とAIの両方に広く応用されている。
- 参考スコア（独自算出の注目度）: 5.647131476818603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A cognitive map is an internal model which encodes the abstract relationships among entities in the world, giving humans and animals the flexibility to adapt to new situations, with a strong out-of-distribution (OOD) generalization that current AI systems still do not possess. To bridge this gap, we introduce MapFormers, new architectures based on Transformer models, which can learn cognitive maps from observational data and perform path integration in parallel, in a self-supervised manner. Cognitive maps are learned in the model by disentangling structural relationships in the inputs from their specific content, a property that can be achieved naturally by updating the positional encoding in Transformers with input-dependent matrices. We developed two variants of MapFormers that unify absolute and relative positional encoding to model episodic (EM) and working memory (WM), respectively. We tested MapFormers on several tasks, including a classic 2D navigation task, showing that our models can learn a cognitive map of the underlying space and generalize OOD (e.g., to longer sequences) with near-perfect performance, unlike current architectures. Together, these results demonstrate the superiority of models designed to learn a cognitive map, and the importance of introducing a structural bias for structure-content disentanglement, which can be achieved in Transformers with input-dependent positional encoding. MapFormers have broad applications in both neuroscience and AI, by explaining the neural mechanisms giving rise to cognitive maps, while allowing these relation models to be learned at scale.
- Abstract（参考訳）: 認知マップは、世界のエンティティ間の抽象的な関係を符号化し、人間と動物に新しい状況に適応するための柔軟性を与え、現在のAIシステムがまだ持っていない強力なアウト・オブ・ディストリビューション(OOD)一般化を与える内部モデルである。
このギャップを埋めるために,Transformerモデルに基づく新しいアーキテクチャであるMapFormerを導入する。
認知地図は,入力内容から入力の構造的関係を解き放つことで学習され,入力依存行列を用いてトランスフォーマーの位置エンコーディングを更新することで自然に達成できる特性である。
モデルエピソード(EM)とワーキングメモリ(WM)に絶対および相対的な位置エンコーディングを統一するMapFormerの2つの変種を開発した。
私たちは、従来の2Dナビゲーションタスクを含むいくつかのタスクでMapFormerをテストし、モデルが基礎となる空間の認知マップを学習し、現在のアーキテクチャとは異なり、ほぼ完全なパフォーマンスでOOD(例えば、長いシーケンス)を一般化できることを示しました。
これらの結果は、認知地図を学習するために設計されたモデルの優越性と、入力に依存した位置符号化を持つトランスフォーマーにおいて達成できる構造的非絡み合いに対する構造的バイアスを導入することの重要性を示す。
MapFormerは、認知マップを生み出す神経メカニズムを説明することによって、神経科学とAIの両方に広く応用されており、これらの関係モデルを大規模に学習することができる。
関連論文リスト
- Cognitive Maps in Language Models: A Mechanistic Analysis of Spatial Planning [2.1115884707107715]
我々はグリッド環境における3つの空間学習パラダイムに基づいてGPT-2モデルを訓練する。
行動、表現、機械的分析を用いて、2つの基本的な異なる学習アルゴリズムを明らかにする。
論文 参考訳（メタデータ） (2025-11-17T13:46:19Z) - A Biologically Interpretable Cognitive Architecture for Online Structuring of Episodic Memories into Cognitive Maps [0.0]
本稿では,認識地図にエピソード記憶を構造化するための新しい認知アーキテクチャを提案する。
我々のモデルは、継承機能フレームワークとエピソード記憶を統合し、インクリメンタルなオンライン学習を可能にします。
この研究は計算神経科学とAIを橋渡しし、人工適応剤の認知地図形成に生物学的に基礎を置いたアプローチを提供する。
論文 参考訳（メタデータ） (2025-09-29T04:07:38Z) - Localizing Knowledge in Diffusion Transformers [44.27817967554535]
本研究では,Diffusion Transformerブロック内に特定の種類の知識がエンコードされている場所をローカライズするモデルおよび知識に依存しない手法を提案する。
同定されたブロックは、生成した出力における知識表現と因果関係があることが示される。
本研究は、DiTの内部構造に関する新たな知見を提供し、より解釈可能で、効率的で、制御可能なモデル編集のための実践的な経路を導入する。
論文 参考訳（メタデータ） (2025-05-24T19:02:20Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.05167902805405]
異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。
MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。
MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
論文 参考訳（メタデータ） (2024-04-20T08:34:39Z) - Multi-Modal Cognitive Maps based on Neural Networks trained on Successor
Representations [3.4916237834391874]
認知地図(Cognitive map)は、脳が記憶を効率的に整理し、そこからコンテキストを取り出す方法に関する概念である。
そこで我々は,細胞動態と認知地図表現をモデル化可能な後続表現を用いたマルチモーダルニューラルネットワークを構築した。
ネットワークは、新しい入力とトレーニングデータベースの類似性を学習し、認知地図の表現を成功させる。
論文 参考訳（メタデータ） (2023-12-22T12:44:15Z) - Conceptual Cognitive Maps Formation with Neural Successor Networks and
Word Embeddings [7.909848251752742]
本稿では,3つの概念の認知マップを構築するために,後継表現とニューラルネットワークと単語埋め込みを用いたモデルを提案する。
ネットワークは、2つの異なるスケールマップを順応的に学習し、関連する既存の表現に近接して新しい情報を配置する。
我々のモデルは、任意の入力にマルチモーダルコンテキスト情報を提供することで、現在のAIモデルを改善する可能性を示唆している。
論文 参考訳（メタデータ） (2023-07-04T09:11:01Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Towards a Predictive Processing Implementation of the Common Model of
Cognition [79.63867412771461]
本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。
提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
論文 参考訳（メタデータ） (2021-05-15T22:55:23Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳（メタデータ） (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。