論文の概要: Objective-Free Local Learning and Emergent Language Structure in Thinking Machines

• arxiv url: http://arxiv.org/abs/2506.23293v1
• Date: Sun, 29 Jun 2025 15:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.813623
• Title: Objective-Free Local Learning and Emergent Language Structure in Thinking Machines
• Title（参考訳）: 思考機械における客観的な局所学習と創発的言語構造
• Authors: P. Myles Eugenio,
• Abstract要約: 本稿では,局所的な事象駆動型創発学習に基づく生成言語モデリングのためのニューロシンボリックフレームワークを提案する。 コアには階層的なホップフィールドメモリチェーンがあり、構成的短期記憶と動的トークン化器として機能する。 我々は、推論中に新しいニューロンを短時間活性化することで、分散マルチスケールトークンの特徴を象徴的な埋め込みに結合することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a neuro-symbolic framework for generative language modeling based on local, event-driven emergent learning. At its core is a hierarchical Hopfield memory chain acting as a compositional short-term memory and dynamic tokenizer (retokenizer). Rather than relying on predefined tokens or supervision, the model builds structure from scratch, learning symbol sequences as multi-scale representations. It constructs projection tensors that bind co-occurring features into hierarchical tokens, introducing redundancy (i.e an emergent gauge structure) and enabling compression of local activations into long-range dependencies. Curiously, we find that the retokenizer can filter natural language patterns from noise, generating synthetic languages with coherent internal morphology -- quantifiably the same as human language. Language is learned in a local (Hebbian) fashion, where model constraints dictate allowed emergent structure, and new information is retained in alignment with this structure. The absence of a global objective enables a form of plasticity not found in conventional language models, allowing the system to generalize beyond its initial inference class -- even without explicit data. We demonstrate that briefly activating a new neuron during inference binds distributed multi-scale token features into a symbolic embedding. These emergent embedding neurons act as long-term memory and support a key-value mechanism for compositional inference and generalization. This architecture provides a methodological foundation for studying how symbolic structure can emerge from local neural learning. It offers a new pathway for building scalable, interpretable neuro-symbolic systems -- where tokens, grammar, and reasoning arise as compressed memory traces within a Hopfield hierarchy. This approach advances the development of neuromorphic architectures for generative language models.
• Abstract（参考訳）: 本稿では,局所的な事象駆動型創発学習に基づく生成言語モデリングのためのニューロシンボリックフレームワークを提案する。 コアには階層的なホップフィールドメモリチェーンがあり、構成的短期記憶と動的トークン化器(retokenizer)として機能する。 事前に定義されたトークンや監督に頼るのではなく、モデルはスクラッチから構造を構築し、マルチスケールの表現としてシンボルシーケンスを学習する。 共起する特徴を階層的なトークンにバインドする射影テンソルを構築し、冗長性(即時ゲージ構造)を導入し、局所的なアクティベーションを長距離依存に圧縮できるようにする。 おかしなことに、リトケナイザは、ノイズから自然言語パターンをフィルタリングし、コヒーレントな内部形態を持つ合成言語を生成することができる。言語は、人間の言語と定量的に同じである。言語は、局所的な(ヘビアン)方法で学習され、モデル制約が許容される創発的構造を規定し、この構造に沿う新しい情報が保持される。グローバルな目的の欠如は、従来の言語モデルでは見つからない塑性の形式を可能にし、システムは、明示的なデータなしで、最初の推論クラスを超えて一般化することができる。 我々は、推論中に新しいニューロンを短時間活性化することで、分散マルチスケールトークンの特徴を象徴的な埋め込みに結合することを示した。 これらの初期埋め込みニューロンは長期記憶として機能し、合成推論と一般化のためのキーバリュー機構をサポートする。 このアーキテクチャは、局所的なニューラルネットワークからシンボル構造がどのように現れるかを研究するための方法論的な基盤を提供する。 これはスケーラブルで解釈可能なニューロシンボリックシステムを構築するための新しい経路を提供する。トークン、文法、推論はホップフィールド階層内で圧縮されたメモリトレースとして発生する。 このアプローチは、生成言語モデルのためのニューロモルフィックアーキテクチャの開発を前進させる。

関連論文リスト

• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Hebbian learning the local structure of language [0.0]
  我々は、顕微鏡的制約にインスパイアされた効果的な人間の言語モデルの基礎を導出する。 1)テキストから単語をトークン化する学習ニューロンの階層構造(すなわちWhatyoudowhenyoureadthis)と、(2)トークン化者の学習したシマンティックなパターンをシマンティックなトークンに結合する追加ニューロンの2つの部分を持つ。
  論文  参考訳（メタデータ） (2025-03-03T21:15:57Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• ROSE: A Neurocomputational Architecture for Syntax [0.0]
  本稿では,ROSEモデルと呼ばれる構文のニューロ計算アーキテクチャを提案する。 ROSEでは、構文の基本データ構造は原子的特徴、心的表現のタイプ(R)であり、単一ユニットとアンサンブルレベルでコード化されている。 低周波カップリングと位相振幅カップリング(pSTS-IFGによるデルタ-テータカップリング、IFGによるテータ-ガンマカップリングから概念ハブへのテータ-ガンマカップリング)の識別形式は、これらの構造を異なるワークスペースにエンコードする(E)。
  論文  参考訳（メタデータ） (2023-03-15T18:44:37Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• The Unstoppable Rise of Computational Linguistics in Deep Learning [17.572024590374305]
  自然言語理解タスクに適用されたニューラルネットワークの歴史を辿る。 トランスフォーマーはシーケンスモデルではなく、帰納構造モデルであると主張する。
  論文  参考訳（メタデータ） (2020-05-13T16:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。