論文の概要: The Emergent Symbolic Structure of Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2608.29530v1
• Date: Sun, 30 Aug 2026 03:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.99135
• Title: The Emergent Symbolic Structure of Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークの創発的シンボル構造
• Authors: R. Thomas McCoy, Paul Soulos, Tal Linzen, Paul Smolensky,
• Abstract要約: ニューラルネットワークの内部表現は暗黙的に記号構造を実現する。 この発見は、リストを操作するために訓練された小規模ニューラルネットワークと、大規模な言語モデルの両方に当てはまる。 この研究は、長年の象徴的インテリジェンスの概念と、現代のAIのベクトルに基づく性質を調和させる潜在的方法を提供する。
• 参考スコア（独自算出の注目度）: 18.995004344545226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern systems in artificial intelligence (AI) somehow excel in domains for which they seem poorly suited. Intelligence has traditionally been modeled as operating over structured combinations of symbols, such as logical formulas. However, the strongest modern AI systems are based on neural networks, which instead represent information in continuous vectors. Vectors seem inadequate for capturing the structure of language, logic, and other cognitive domains, yet neural networks achieve impressive performance in these areas. How do they do it? In this work, we propose a potential answer: Despite appearances, perhaps the internal representations of neural networks implicitly realize symbolic structure. In support of this hypothesis, we show that the vector representations of a variety of neural networks can be closely approximated with symbolic structures: we can replace the network's entire representation-generating process with a closed-form equation instantiating a symbolic structure, and the network's behavior remains largely unchanged. This finding holds for both small-scale neural networks trained to manipulate lists as well as large language models (LLMs) operating in four domains that are central in symbolic traditions: arithmetic, logic, computer code, and language. Further, our symbolic approximation allows us to modify an LLM's behavior in targeted ways via precise interventions on its internal representations, showing that the LLM's behavior is reliant on the symbolic structures we have identified. This work provides a potential way to reconcile longstanding symbolic conceptions of intelligence with the vector-based nature of modern AI.
• Abstract（参考訳）: 現代の人工知能(AI)のシステムは、何らかの理由で不適当と思われる領域に優れている。 インテリジェンスは伝統的に、論理式のような記号の構造化された組み合わせを操作するものとしてモデル化されてきた。 しかし、最新のAIシステムはニューラルネットワークに基づいており、連続ベクトルの情報を表す。 ベクトルは言語、ロジック、その他の認知領域の構造を捉えるのに不十分であるように思われるが、ニューラルネットワークはこれらの領域で印象的なパフォーマンスを達成する。 どうやってやるのか? 出現にもかかわらず、おそらくニューラルネットワークの内部表現は、暗黙的に記号構造を実現できる。 この仮説を支持するために、様々なニューラルネットワークのベクトル表現が記号構造と密接に近似できることを示し、ネットワーク全体の表現生成過程を記号構造をインスタンス化する閉形式方程式に置き換えることができ、ネットワークの挙動はほぼ変化しない。 この発見は、リストを操作するために訓練された小規模ニューラルネットワークと、算術、論理、コンピュータコード、言語といった象徴的な伝統の中心にある4つのドメインで動作する大規模言語モデル(LLM)の両方に当てはまる。 さらに, シンボル近似により, LLMの内部表現を的確に介入することにより, LLMの挙動が識別したシンボル構造に依存していることを示す。 この研究は、長年の象徴的インテリジェンスの概念と、現代のAIのベクトルに基づく性質を調和させる潜在的方法を提供する。

関連論文リスト

• Deriving Equivalent Symbol-Based Decision Models from Feedforward Neural Networks [0.0]
  急速な採用にもかかわらず、AIシステムの不透明さは、信頼と受け入れに重大な課題をもたらす。 この研究は、フィードフォワードニューラルネットワーク(FNN)から決定木などのシンボルモデルの導出に焦点を当てている。
  論文  参考訳（メタデータ） (2025-04-16T19:22:53Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Emergence of Symbols in Neural Networks for Semantic Understanding and Communication [8.156761369660096]
  本稿では,シンボルの作成,意味論の理解,コミュニケーションの実現が可能なニューラルネットワークを実現するためのソリューションを提案する。 SEA-netは特定のタスクを実行するためにネットワークを動的に構成するシンボルを生成する。 これらのシンボルは合成意味情報をキャプチャし、システムは記号操作や通信によって純粋に新しい関数を取得できる。
  論文  参考訳（メタデータ） (2023-04-13T10:13:00Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。