論文の概要: On the Limits of Hierarchically Embedded Logic in Classical Neural Networks
- arxiv url: http://arxiv.org/abs/2507.20960v1
- Date: Mon, 28 Jul 2025 16:13:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.200063
- Title: On the Limits of Hierarchically Embedded Logic in Classical Neural Networks
- Title（参考訳）: 古典的ニューラルネットワークにおける階層的埋め込み論理の限界について
- Authors: Bill Cochran,
- Abstract要約: 各レイヤが、論理的推論の少なくとも1つのレベルをエンコードできることを示します。
我々は、特定の深さのニューラルネットワークが1つの高階論理において、述語を忠実に表現できないことを証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a formal model of reasoning limitations in large neural net models for language, grounded in the depth of their neural architecture. By treating neural networks as linear operators over logic predicate space we show that each layer can encode at most one additional level of logical reasoning. We prove that a neural network of depth a particular depth cannot faithfully represent predicates in a one higher order logic, such as simple counting over complex predicates, implying a strict upper bound on logical expressiveness. This structure induces a nontrivial null space during tokenization and embedding, excluding higher-order predicates from representability. Our framework offers a natural explanation for phenomena such as hallucination, repetition, and limited planning, while also providing a foundation for understanding how approximations to higher-order logic may emerge. These results motivate architectural extensions and interpretability strategies in future development of language models.
- Abstract（参考訳）: 本稿では,言語に対する大規模ニューラルネットモデルにおける推論限界の形式的モデルを提案する。
ニューラルネットワークを論理述語空間上の線形演算子として扱うことにより、各層が少なくとも1つの論理的推論レベルでエンコード可能であることを示す。
例えば、複雑な述語に対する単純な数え上げや、論理的表現性に厳密な上限を与えるような1つの高階論理において、特定の深さのニューラルネットワークが忠実に述語を表現できないことを証明します。
この構造は、トークン化と埋め込みの間に非自明なヌル空間を誘導し、表現可能性から高階述語を除外する。
我々の枠組みは、幻覚、繰り返し、限られた計画のような現象の自然な説明を提供すると同時に、高階論理への近似がどのように現れるかを理解するための基盤を提供する。
これらの結果は、将来の言語モデル開発におけるアーキテクチャ拡張と解釈可能性戦略を動機付けている。
関連論文リスト
- Neural Networks as Universal Finite-State Machines: A Constructive Deterministic Finite Automaton Theory [0.0]
我々は、ユニバーサル有限状態マシン(N-FSM)としてフィードフォワードニューラルネットワークを確立する。
我々の結果は、有限深度ReLUとしきい値ネットワークが決定論的有限オートマトン(DFAs)を正確にシミュレートできることを証明している。
固定深度フィードフォワードネットワークは、メモリを必要とする非正規言語を認識できない。
論文 参考訳（メタデータ） (2025-05-16T21:01:34Z) - Standard Neural Computation Alone Is Insufficient for Logical Intelligence [3.230778132936486]
論理的推論を統合するためには、標準的なニューラルネットワーク層を根本的に再考する必要がある、と我々は主張する。
論理演算の微分可能な近似を組み込んだ論理ニューラルネットワーク(LNU)モジュラーコンポーネントを提唱する。
論文 参考訳（メタデータ） (2025-02-04T09:07:45Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z) - Finding Alignments Between Interpretable Causal Variables and
Distributed Neural Representations [62.65877150123775]
因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。
既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。
これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
論文 参考訳（メタデータ） (2023-03-05T00:57:49Z) - Extensions to Generalized Annotated Logic and an Equivalent Neural
Architecture [4.855957436171202]
本稿では,ニューロシンボリックシステムに対する望ましい基準のリストを提案し,既存のアプローチのいくつかがこれらの基準にどう対処するかを検討する。
次に、等価なニューラルアーキテクチャの作成を可能にするアノテーション付き一般化論理の拡張を提案する。
トレーニングプロセスの継続的な最適化に依存する従来のアプローチとは異なり、当社のフレームワークは、離散最適化を使用する二項化ニューラルネットワークとして設計されている。
論文 参考訳（メタデータ） (2023-02-23T17:39:46Z) - Join-Chain Network: A Logical Reasoning View of the Multi-head Attention
in Transformer [59.73454783958702]
本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。
特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。
変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
論文 参考訳（メタデータ） (2022-10-06T07:39:58Z) - Discourse-Aware Graph Networks for Textual Logical Reasoning [142.0097357999134]
パッセージレベルの論理関係は命題単位間の係り合いまたは矛盾を表す(例、結論文)
論理的推論QAを解くための論理構造制約モデリングを提案し、談話対応グラフネットワーク(DAGN)を導入する。
ネットワークはまず、インラインの談話接続とジェネリック論理理論を利用した論理グラフを構築し、その後、エッジ推論機構を用いて論理関係を進化させ、グラフ機能を更新することで論理表現を学習する。
論文 参考訳（メタデータ） (2022-07-04T14:38:49Z) - Logical Neural Networks [51.46602187496816]
ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。
すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。
推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
論文 参考訳（メタデータ） (2020-06-23T16:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。