論文の概要: Propositional Logic for Probing Generalization in Neural Networks

• arxiv url: http://arxiv.org/abs/2506.08978v1
• Date: Tue, 10 Jun 2025 16:46:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.881111
• Title: Propositional Logic for Probing Generalization in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける一般化探索のための命題論理
• Authors: Anna Langedijk, Jaap Jumelet, Willem Zuidema,
• Abstract要約: 本稿では,3つの重要なニューラルネットワーク(Transformers, Graph Convolution Networks, LSTMs)の,命題論理に根ざした制御タスクにおける一般化挙動について検討する。 構造バイアスを導入しなければ,Transformerはネゲーションを構成的に適用できないことがわかった。 本研究は,論理演算子の体系的表現を学習する標準的なアーキテクチャの能力において,永続的な限界を浮き彫りにするものである。
• 参考スコア（独自算出の注目度）: 3.6037930269014633
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The extent to which neural networks are able to acquire and represent symbolic rules remains a key topic of research and debate. Much current work focuses on the impressive capabilities of large language models, as well as their often ill-understood failures on a wide range of reasoning tasks. In this paper, in contrast, we investigate the generalization behavior of three key neural architectures (Transformers, Graph Convolution Networks and LSTMs) in a controlled task rooted in propositional logic. The task requires models to generate satisfying assignments for logical formulas, making it a structured and interpretable setting for studying compositionality. We introduce a balanced extension of an existing dataset to eliminate superficial patterns and enable testing on unseen operator combinations. Using this dataset, we evaluate the ability of the three architectures to generalize beyond the training distribution. While all models perform well in-distribution, we find that generalization to unseen patterns, particularly those involving negation, remains a significant challenge. Transformers fail to apply negation compositionally, unless structural biases are introduced. Our findings highlight persistent limitations in the ability of standard architectures to learn systematic representations of logical operators, suggesting the need for stronger inductive biases to support robust rule-based reasoning.
• Abstract（参考訳）: ニューラルネットワークが象徴的なルールを獲得し、表現できる範囲は、研究と議論の重要なトピックである。 現在の作業の多くは、大きな言語モデルの印象的な機能と、広範囲の推論タスクにおいてしばしば理解されていない失敗に焦点を当てています。 本稿では,3つの重要なニューラルアーキテクチャ(Transformers, Graph Convolution Networks, LSTMs)の,命題論理に根ざした制御タスクにおける一般化挙動について検討する。 このタスクは、論理式に対する満足な代入を生成するモデルを必要とし、構成性を研究するための構造化され解釈可能な設定となる。 既存のデータセットのバランスの取れた拡張を導入し、表面的なパターンを排除し、目に見えない演算子の組み合わせのテストを可能にします。 このデータセットを用いて、トレーニング分布を超えて3つのアーキテクチャを一般化する能力を評価する。 すべてのモデルはよく分布するが、目に見えないパターン、特に否定を伴うパターンへの一般化は依然として重要な課題である。 トランスフォーマーは、構造バイアスを導入しなければ、ネゲーションを組成的に適用できない。 本研究は,論理演算子の体系的表現を学習する標準的なアーキテクチャの能力において,厳格な規則に基づく推論を支援するため,より強い帰納的バイアスの必要性を示唆するものである。

関連論文リスト

• The Coverage Principle: A Framework for Understanding Compositional Generalization [31.762330857169914]
  合成タスクのパターンマッチングに主に依存するモデルは、同じコンテキストで使用した場合に同じ結果が得られるフラグメントを置換する以外には、確実に一般化できないことを示す。 我々は,このフレームワークがトランスフォーマーの一般化能力に強い予測力を持つことを実証した。
  論文  参考訳（メタデータ） (2025-05-26T17:55:15Z)
• When does compositional structure yield compositional generalization? A kernel theory [0.0]
  固定された構成的表現を持つカーネルモデルにおける合成一般化の理論を示す。 学習データのバイアスから生じる合成一般化における新しい障害モードを同定する。 本研究は, 学習データの統計的構造が構成一般化にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-05-26T00:50:11Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Neural Networks and the Chomsky Hierarchy [27.470857324448136]
  チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。 膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。 この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
  論文  参考訳（メタデータ） (2022-07-05T15:06:11Z)
• Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks [13.518582483147325]
  本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。 本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T20:06:23Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。