論文の概要: Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning

• arxiv url: http://arxiv.org/abs/2506.21797v2
• Date: Tue, 01 Jul 2025 18:25:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 12:13:55.531582
• Title: Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning
• Title（参考訳）: ニューラルネットワークがグラディエントベーストレーニングでシンボリック構造を発見できる理由:ニューロシンボリック推論のための代数的および幾何学的基礎
• Authors: Peihao Wang, Zhangyang Wang,
• Abstract要約: 我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
• 参考スコア（独自算出の注目度）: 73.18052192964349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a theoretical framework that explains how discrete symbolic structures can emerge naturally from continuous neural network training dynamics. By lifting neural parameters to a measure space and modeling training as Wasserstein gradient flow, we show that under geometric constraints, such as group invariance, the parameter measure $\mu_t$ undergoes two concurrent phenomena: (1) a decoupling of the gradient flow into independent optimization trajectories over some potential functions, and (2) a progressive contraction on the degree of freedom. These potentials encode algebraic constraints relevant to the task and act as ring homomorphisms under a commutative semi-ring structure on the measure space. As training progresses, the network transitions from a high-dimensional exploration to compositional representations that comply with algebraic operations and exhibit a lower degree of freedom. We further establish data scaling laws for realizing symbolic tasks, linking representational capacity to the group invariance that facilitates symbolic solutions. This framework charts a principled foundation for understanding and designing neurosymbolic systems that integrate continuous learning with discrete algebraic reasoning.
• Abstract（参考訳）: 我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータをワッサースタイン勾配流として測定空間に上げ、モデリングトレーニングを行うことにより、群不変性などの幾何学的制約の下でパラメータ測度$\mu_t$は、(1) 勾配フローをいくつかのポテンシャル関数上の独立な最適化軌道に分離し、(2) 自由度を漸進的に収縮させる2つの同時現象を生じることを示す。 これらのポテンシャルはタスクに関連する代数的制約を符号化し、測度空間上の可換半環構造の下で環準同型として作用する。 トレーニングが進むにつれて、ネットワークは高次元の探索から、代数的操作に準拠し、より低い自由度を示す構成表現へと遷移する。 さらに、シンボリック・タスクを実現するためのデータスケーリング法則を確立し、シンボリック・ソリューションを促進する群不変量に表現能力をリンクする。 この枠組みは、連続学習と離散代数的推論を統合するニューロシンボリックシステムを理解し設計するための原則的な基礎をグラフ化している。

関連論文リスト

• Symbolic Neural Ordinary Differential Equations [11.69943926220929]
  記号型ニューラル正規微分方程式(SNODE)と呼ばれる記号型連続深度ニューラルネットワークの新しい学習フレームワークを提案する。 我々の枠組みは、システム分岐制御、再構築と予測、新しい方程式の発見など、幅広い科学的問題にさらに適用することができる。
  論文  参考訳（メタデータ） (2025-03-11T05:38:22Z)
• Artificial Neural Networks on Graded Vector Spaces [0.0]
  本稿では,次数ベクトル空間上での人工ニューラルネットワークの変換フレームワークを提案する。 我々は、構造的整合性を維持するため、古典的なニューラルネットワークをグレードされたニューロン、層、アクティベーション関数で拡張する。 ケーススタディでは、重み付き射影空間における不変量を予測するといったタスクにおいて、標準ニューラルネットワークよりも優れた、フレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-26T18:17:58Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Relational Reasoning Networks [9.262082274025708]
  本稿では,深層建築の潜伏空間における推論を行う新しいエンドツーエンドモデルであるニューロ・シンボリック・ネットワーク(R2N)を提案する。 R2Nは、学習と推論を異種問題に統合する神経象徴的なプラットフォームとして純粋に象徴的またはタスクに適用することができる。
  論文  参考訳（メタデータ） (2021-06-01T11:02:22Z)
• Neural Mechanics: Symmetry and Broken Conservation Laws in Deep Learning Dynamics [26.485269202381932]
  トレーニング中のニューラルネットワークパラメータのダイナミクスを理解することは、ディープラーニングの理論基盤を構築する上で重要な課題のひとつだ。 このような対称性は勾配やヘッシアンに厳密な幾何学的制約を課し、関連する保存則を導く。 SGDが有限学習速度で行った数値軌道をよりよく近似する差分方程式である修正勾配流の導出に有限差分法からツールを適用します。
  論文  参考訳（メタデータ） (2020-12-08T20:33:30Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。