論文の概要: A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
- arxiv url: http://arxiv.org/abs/2507.18868v1
- Date: Fri, 25 Jul 2025 01:02:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-28 16:16:48.788689
- Title: A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
- Title（参考訳）: 神経科学にインスパイアされた合成一般化のデュアルプロセスモデル
- Authors: Alex Noviello, Claas Beger, Jacob Groner, Kevin Ellis, Weinan Sun,
- Abstract要約: 本稿では,構成タスクの体系的な一般化を実現するフレームワークであるMIRAGEを紹介する。
MIRAGEには2つの相互作用モジュールがあり、脳の熟考的HPC-PFCループと直感的な新皮質パターン認識を反映している。
このアプローチはSCANベンチマークの体系的な構成一般化を示し、トランスフォーマーモジュール内の1.19Mパラメータだけで全てのタスク分割に対して99%の精度を達成している。
- 参考スコア（独自算出の注目度）: 4.575444193827658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic compositional generalization - constructing and understanding novel combinations of known building blocks - remains a core challenge for AI systems. Human cognition achieves this flexibility via the interplay of the hippocampus (HPC) and prefrontal cortex (PFC): the hippocampus rapidly encodes episodes, and the prefrontal cortex consolidates them into reusable schemas for reasoning. Drawing on these insights, we present MIRAGE (Meta-Inference with Rules and Abstractions from Generalized Experience), a framework that achieves systematic generalization on compositional tasks. MIRAGE has two interacting modules mirroring the brain's deliberative HPC-PFC loop and intuitive neocortical pattern recognition. (1) The meta-trained Transformer Neural Decomposer, paralleling neocortical "System 1" computation, is trained on a task-agnostic stream of randomly sampled compositional grammars and applies one decomposition step per pass, with successive passes iteratively refining the sequence representation. (2) The Schema Engine, analogous to the HPC-PFC "System 2" loop, dynamically extracts, ranks, and applies reusable schemas, storing variable bindings in episodic memory and expanding them when needed. By explicitly equipping the Transformer component of MIRAGE with actively managed schematic structures, our model performs systematic compositional operations through explicit schema application and transformation, relying solely on frozen weights when solving entirely novel tasks. This approach demonstrates systematic compositional generalization on the SCAN benchmark, achieving > 99% accuracy on all task splits with only 1.19M parameters in the transformer module. Ablation studies confirm that MIRAGE's systematicity critically depends on the quality of extracted schemas and the model's iterative refinement process.
- Abstract（参考訳）: システム構成の一般化 - 既知のビルディングブロックの新規な組み合わせの構築と理解 - は、AIシステムの中核的な課題である。
ヒトの認知はこの柔軟性を海馬(HPC)と前頭前皮質(PFC)の相互作用を通じて達成し、海馬は急速にエピソードをコード化し、前頭前皮質はそれらを再利用可能なスキーマに集約する。
これらの知見に基づいて,構成タスクの体系的一般化を実現するフレームワークであるMIRAGE(Meta-Inference with Rules and Abstractions from Generalized Experience)を紹介する。
MIRAGEには2つの相互作用モジュールがあり、脳の熟考的HPC-PFCループと直感的な新皮質パターン認識を反映している。
1) メタトレーニングされたトランスフォーマーニューラルデコーダは,新皮質の「システム1」計算を並列に行い,ランダムにサンプリングされた構成文法のタスク非依存ストリーム上で訓練し,連続的にシーケンス表現を反復的に精製する。
2) HPC-PFC "System 2"ループに類似したスキーマエンジンは、動的に抽出し、ランク付けし、再利用可能なスキーマを適用し、エピソードメモリに可変バインディングを格納し、必要に応じて拡張する。
MIRAGEのTransformerコンポーネントに積極的に管理されたスキーマ構造を明示的に装備することにより、我々のモデルは明示的なスキーマアプリケーションと変換を通じて体系的な構成操作を行う。
このアプローチはSCANベンチマークの体系的な構成一般化を示し、トランスフォーマーモジュール内の1.19Mパラメータだけで全てのタスク分割に対して99%の精度を達成している。
アブレーション研究により、MIRAGEの体系性は抽出されたスキーマの品質とモデルの反復的洗練プロセスに依存することが確認された。
関連論文リスト
- Activation-Guided Consensus Merging for Large Language Models [25.68958388022476]
textbfActivation-Guided textbfConsensus textbfMerging(textbfACM)は,層固有のマージ係数を決定するプラグインとプレイのマージフレームワークである。
L2S(Long-to-Short)と一般的なマージタスクの実験は、ACMが全てのベースラインメソッドを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2025-05-20T07:04:01Z) - On a Matrix Ensemble for Arbitrary Complex Quantum Systems [0.0]
固有状態熱化仮説(ETH)の基礎としてドイッチュが提唱した固有ベクトルアンサンブルの変種について述べる。
このアンサンブルには追加のシステム依存の情報が含まれており、ランダム行列理論(RMT)の普遍的な予測を超えた複雑な量子系の研究を可能にする。
このアンサンブルによって定義される相関関数は、小さなエネルギー窓の場合、ETHによる予測に還元されることを示す。
論文 参考訳（メタデータ） (2024-07-29T23:17:45Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Physics Informed Machine Learning for Chemistry Tabulation [5.368509527675853]
動的に生成するThemochemical State Variablesを組み込むため,ChemTabベースの定式化と実装を構築した。
このディープニューラルネットワークアーキテクチャの実装における課題について議論し、その性能を実験的に実証する。
論文 参考訳（メタデータ） (2022-11-06T04:24:38Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-10-04T13:27:38Z) - Compositional Generalization and Decomposition in Neural Program
Synthesis [59.356261137313275]
本稿では,学習プログラムシンセサイザーの合成一般化能力の測定に焦点をあてる。
まず、プログラム合成法が一般化されるであろういくつかの異なる軸を特徴付ける。
2つの一般的な既存のデータセットに基づいて、これらの能力を評価するためのタスクのベンチマークスイートを導入する。
論文 参考訳（メタデータ） (2022-04-07T22:16:05Z) - ChemTab: A Physics Guided Chemistry Modeling Framework [5.368509527675853]
進行変数とルックアップモデルの共同学習により,より正確な結果が得られることを示す。
我々は、共同学習タスク用にカスタマイズされたChemTabと呼ばれるディープニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-02-20T16:21:13Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - X-volution: On the unification of convolution and self-attention [52.80459687846842]
本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。
提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
論文 参考訳（メタデータ） (2021-06-04T04:32:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。