論文の概要: Discrete, compositional, and symbolic representations through attractor dynamics
- arxiv url: http://arxiv.org/abs/2310.01807v2
- Date: Thu, 26 Sep 2024 14:21:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 10:12:15.555972
- Title: Discrete, compositional, and symbolic representations through attractor dynamics
- Title（参考訳）: 誘引子ダイナミクスによる離散的、構成的、象徴的表現
- Authors: Andrew Nam, Eric Elmoznino, Nikolay Malkin, James McClelland, Yoshua Bengio, Guillaume Lajoie,
- Abstract要約: 我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
- 参考スコア（独自算出の注目度）: 51.20712945239422
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Symbolic systems are powerful frameworks for modeling cognitive processes as they encapsulate the rules and relationships fundamental to many aspects of human reasoning and behavior. Central to these models are systematicity, compositionality, and productivity, making them invaluable in both cognitive science and artificial intelligence. However, certain limitations remain. For instance, the integration of structured symbolic processes and latent sub-symbolic processes has been implemented at the computational level through fiat methods such as quantization or softmax sampling, which assume, rather than derive, the operations underpinning discretization and symbolicization. In this work, we introduce a novel neural stochastic dynamical systems model that integrates attractor dynamics with symbolic representations to model cognitive processes akin to the probabilistic language of thought (PLoT). Our model segments the continuous representational space into discrete basins, with attractor states corresponding to symbolic sequences, that reflect the semanticity and compositionality characteristic of symbolic systems through unsupervised learning, rather than relying on pre-defined primitives. Moreover, like PLoT, our model learns to sample a diverse distribution of attractor states that reflect the mutual information between the input data and the symbolic encodings. This approach establishes a unified framework that integrates both symbolic and sub-symbolic processing through neural dynamics, a neuro-plausible substrate with proven expressivity in AI, offering a more comprehensive model that mirrors the complex duality of cognitive operations.
- Abstract（参考訳）: シンボリックシステムは、人間の推論と行動の多くの側面に根ざしたルールと関係をカプセル化するので、認知過程をモデル化するための強力なフレームワークである。
これらのモデルの中心は、体系性、構成性、生産性であり、認知科学と人工知能の両方において貴重である。
しかし、いくつかの制限が残っている。
例えば、構造化された記号過程と潜在サブシンボル過程の統合は、量子化やソフトマックスサンプリングのようなフィアット手法によって計算レベルで実装されている。
そこで本研究では,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラル確率力学系モデルを提案する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
さらに、PLoTと同様に、入力データとシンボルエンコーディングの相互情報を反映したアトラクタ状態の多種多様な分布のサンプルを学習する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIで表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
関連論文リスト
- LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳（メタデータ） (2023-09-16T09:15:37Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳（メタデータ） (2023-07-16T15:59:13Z) - Models of symbol emergence in communication: a conceptual review and a
guide for avoiding local minima [0.0]
計算シミュレーションは、通信の出現に関する仮説をテストする一般的な方法である。
我々は、いくつかの最も代表的なモデルの仮定と説明的対象を特定し、既知の結果を要約する。
この観点から、意味ある象徴的コミュニケーションの出現をモデル化する道のりをスケッチする。
論文 参考訳（メタデータ） (2023-03-08T12:53:03Z) - Meta-brain Models: biologically-inspired cognitive agents [0.0]
メタ脳モデルと呼ぶ計算手法を提案する。
特殊なモデルを用いて構成したレイヤの組み合わせを提案する。
我々は、この柔軟でオープンソースなアプローチの開発における次のステップを提案して、結論付けます。
論文 参考訳（メタデータ） (2021-08-31T05:20:53Z) - pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。
主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。
我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
論文 参考訳（メタデータ） (2021-06-14T15:19:06Z) - Towards a Predictive Processing Implementation of the Common Model of
Cognition [79.63867412771461]
本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。
提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
論文 参考訳（メタデータ） (2021-05-15T22:55:23Z) - Controlling Synthetic Characters in Simulations: A Case for Cognitive
Architectures and Sigma [0.0]
シミュレーションは、参加する合成文字に対して現実的で信頼できる振る舞いを生成する知性の計算モデルを必要とする。
Sigmaは認知アーキテクチャとシステムであり、象徴的認知アーキテクチャ、確率的グラフィカルモデル、そしてより最近のニューラルモデルに関する40年間にわたる独立した研究から学んだことを、そのグラフィカルアーキテクチャ仮説の下で組み合わせようとしている。
本稿では,Sigmaを多種多様な機能とともに導入し,その組み合わせを強調するために3つの概念実証Sigmaモデルを使用する。
論文 参考訳（メタデータ） (2021-01-06T19:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。