論文の概要: Mathematical Principles and Experimental Discoveries of the Emergence of Symbolic Patterns in Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2608.06839v1
- Date: Fri, 07 Aug 2026 05:59:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.374346
- Title: Mathematical Principles and Experimental Discoveries of the Emergence of Symbolic Patterns in Artificial Neural Networks
- Title（参考訳）: ニューラルネットワークにおける記号パターンの出現の数学的原理と実験的発見
- Abstract要約: 多様なタスクで訓練されたANNの幅広いクラスにまたがって、その推論ロジックはスパースなシンボリック相互作用として再構成可能であることを示す。
タスク間で暗黙的に要求される2つの一般的な数学的基準が、そのような疎いシンボリック相互作用の出現に繋がることを示す。
また、ANNの推論ロジックを直接検査し、シンボリックパターンのレベルで調整できるパラダイムであるコミュニケーション学習の可能性を強調した。
- 参考スコア（独自算出の注目度）: 26.880191260703565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Neural networks (ANNs) are often treated as black-box models, making explainability a central challenge in deep learning. Many engineering methods have been proposed to approximately explain the ANN from various perspectives, such as feature attribution and visualization. However, it remains a long-standing open question whether the complex inference logic of an ANN can be explained exhaustively and concisely as sparse symbolic patterns. This raises a deeper inquiry: does the emergence of symbolic patterns reflect a natural law rather than chance? Here, we show that across a broad class of ANNs trained on diverse tasks, their inference logic can indeed be reformulated as sparse symbolic interactions. We further prove that two common mathematical criteria, which are implicitly required across tasks, lead to the emergence of such sparse symbolic interactions. Empirical evidence confirms that the two criteria hold for the majority of input samples in diverse models. Furthermore, the faithfulness of these interactions is also demonstrated by their strong sample-to-sample and model-to-model transferability, as well as their ability to explain the overall generalization power of ANNs. Our theoretical analysis and extensive experiments provide a solid foundation for symbolic explanations of ANNs, and offer novel insights into the ANN's generalization power. Our findings also highlight the potential of communicative learning, a paradigm in which the inference logic of an ANN can be directly inspected and tuned at the level of symbolic patterns, thus complementing traditional end-to-end learning paradigm. Finally, the observed emergence of symbolic patterns in ANNs suggests that similar symbolic representations may also emerge in other types of black-box systems under certain conditions, because our proof does not depend on any specific ANN architecture.
- Abstract（参考訳）: 人工ニューラルネットワーク(ANN)はしばしばブラックボックスモデルとして扱われる。
特徴属性や可視化など,さまざまな観点からANNを概説するために,多くの工学的手法が提案されている。
しかし、ANNの複雑な推論ロジックが疎いシンボリックパターンとして包括的かつ簡潔に説明できるかどうかには、長い間疑問が持たれている。
象徴的なパターンの出現は、偶然ではなく自然法則を反映しているのか?
ここでは,多種多様なタスクで訓練されたANNの幅広いクラスにおいて,その推論ロジックがスパースシンボリック相互作用として再構成可能であることを示す。
さらに、タスク間で暗黙的に要求される2つの一般的な数学的基準が、そのような疎いシンボリック相互作用の出現につながることを証明している。
実証的な証拠は、この2つの基準が多様なモデルにおける入力サンプルの大多数を占めていることを証明している。
さらに、これらの相互作用の忠実性は、強力なサンプル対サンプルとモデル対モデルの伝達可能性、およびANNの全体的な一般化パワーを説明する能力によっても証明される。
我々の理論解析と広範な実験は、ANNの象徴的な説明の基礎となり、ANNの一般化力に関する新たな洞察を提供する。
また、ANNの推論ロジックを直接検査し、シンボリックパターンのレベルで調整できるパラダイムであるコミュニケーション学習の可能性を強調し、従来のエンドツーエンド学習パラダイムを補完する。
最後に、ANNにおけるシンボルパターンの出現は、この証明が特定のANNアーキテクチャに依存しないため、類似のシンボル表現が特定の条件下で他の種類のブラックボックスシステムにも現れる可能性があることを示唆している。
関連論文リスト
- Interpretable by AI Mother Tongue: Native Symbolic Reasoning in Neural Models [0.0]
ニューラルネットワークがネイティブなシンボリック言語であるAIマザートングを開発するフレームワークを提案する。
私たちのアプローチでは、推論を直接モデルの表現に組み込んでいます。
我々は,AIマザー・トングが神経モデルにおける解釈可能性,直観,象徴的推論の統一的なメカニズムとして機能することを示した。
論文 参考訳（メタデータ） (2025-08-26T12:40:21Z) - Can Large Language Models Adequately Perform Symbolic Reasoning Over Time Series? [24.077535987624497]
実世界の時系列のシンボリック推論を評価するためのベンチマークであるSymbolBenchを紹介する。
以前の取り組みとは異なり、SymbolBenchは様々な複雑さを持つ様々な記号形式にまたがっている。
本稿では,大規模言語モデルと遺伝的プログラミングを統合し,閉ループシンボリック推論システムを構築する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-05T22:58:54Z) - Understanding Task Representations in Neural Networks via Bayesian Ablation [1.3980986259786223]
本稿ではニューラルネットワークにおける潜在タスク表現を解釈するための新しい確率的フレームワークを提案する。
ベイズ推定にインスパイアされた本手法は,タスク性能に対する因果的寄与を推定するために,表現単位を超越した分布を定義する。
論文 参考訳（メタデータ） (2025-05-19T21:36:09Z) - Unveiling Ontological Commitment in Multi-Modal Foundation Models [7.485653059927206]
ディープニューラルネットワーク(DNN)は、概念の豊かな表現とそれぞれの推論を自動的に学習する。
そこで本研究では,葉柄概念の集合に対してマルチモーダルDNNから学習したスーパークラス階層を抽出する手法を提案する。
最初の評価研究では、最先端基礎モデルから有意義な存在論的階級階層を抽出できることが示されている。
論文 参考訳（メタデータ） (2024-09-25T17:24:27Z) - Disentangling Representations through Multi-task Learning [0.0]
分類タスクを最適に解決するエージェントにおいて,不整合表現の出現を保証する実験および理論的結果を提供する。
マルチタスクに訓練されたRNNにおいて、これらの予測を実験的に検証し、連続的な誘引子の形で非絡み合った表現を学習する。
私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
論文 参考訳（メタデータ） (2024-07-15T21:32:58Z) - Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。
ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。
このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
論文 参考訳（メタデータ） (2024-05-24T17:19:57Z) - Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。
オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。
大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
論文 参考訳（メタデータ） (2024-02-23T16:50:07Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳（メタデータ） (2023-07-16T15:59:13Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。
このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。
elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-17T16:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。