論文の概要: Predicate Neuron: Differentiable Quantization of Predicate Relations in Gradient-based Learning
- arxiv url: http://arxiv.org/abs/2610.37727v1
- Date: Tue, 27 Oct 2026 12:07:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.304339
- Title: Predicate Neuron: Differentiable Quantization of Predicate Relations in Gradient-based Learning
- Title(参考訳): 述語ニューロン:勾配学習における述語関係の微分量子化
- Abstract要約: 我々は,論理推論型ニューラルモジュールであるNative Predicate Neuronを紹介する。
入力状態と選択状態の両方を定量化することにより、述語ニューロンは連続関数と非連続関数を近似する。
その結果、述語ニューロンを組み込むことで収束が促進され、精度が向上し、一般的には損失が減少することが明らかとなった。
- 参考スコア(独自算出の注目度): 0.764671395172401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In machine learning, symbolic reasoning approaches often rely on static architectures that hinder integration into deep neural networks and gradient-based optimization. To address this, we introduce the Native Predicate Neuron, a differentiable logic-reasoning neural module that enriches standard architectures with symbolic reasoning capabilities via first-order logic quantization. The proposed neuron models relational logic by learning to alternate between operations using a single trainable parameter. It features a tailored gradient mechanism with a dual-nature formulation: executing hard logical operations during training while maintaining differentiability for backpropagation. By quantizing both its input and choice state, the Predicate Neuron approximates continuous and non-continuous functions, effectively resolving discontinuities that standard deep learning architectures struggle with. We evaluate the Predicate Neuron across Fully-Connected, Convolutional, Recurrent, and Transformer architectures on benchmarks like MNIST and Wikitext. Results show that incorporating Predicate Neurons accelerates convergence, boosts accuracy, and lowers loss in general, with particularly strong improvements in tasks requiring monotonic reasoning or handling discontinuities. Overall, the Predicate Neuron natively integrates into standard neural networks to enable fuzzy logic operations and is available in Keras and PyTorch.
- Abstract(参考訳): 機械学習では、シンボリック推論アプローチは、ディープニューラルネットワークと勾配に基づく最適化への統合を妨げる静的アーキテクチャに依存することが多い。
これを解決するために、一階述語論理量子化によるシンボリック推論機能を備えた標準アーキテクチャを充実させる、微分可能な論理推論ニューラルモジュールであるNative Predicate Neuronを紹介した。
提案したニューロンは、単一のトレーニング可能なパラメータを用いて操作間の交互化を学ぶことで、リレーショナルロジックをモデル化する。
トレーニング中にハード論理演算を実行し、バックプロパゲーションの微分可能性を維持しながら、双曲的な定式化を施した調整された勾配機構を備えている。
入力状態と選択状態の両方を定量化することにより、述語ニューロンは連続関数と非連続関数を近似し、標準的なディープラーニングアーキテクチャが抱える不連続性を効果的に解決する。
我々は,MNIST や Wikitext などのベンチマークを用いて,完全接続型,畳み込み型,再帰型,変換型アーキテクチャの述語ニューロンを評価する。
その結果、述語ニューロンを組み込むことで収束が促進され、精度が向上し、全般的に損失が減少し、特に単調な推論や不連続性処理を必要とするタスクが大幅に改善された。
全体として、Predicate Neuronは標準的なニューラルネットワークにネイティブに統合され、ファジィロジック操作を可能にし、KerasとPyTorchで利用可能である。
関連論文リスト
- Neural Symbollic Regression Using Deep Learning and Sparse Modelling [0.0]
シンボリック回帰は、データ内の基本的な関係を表す簡潔な数学的表現を見つけようとする。
遺伝的プログラミングのような従来の手法はスケーラビリティの課題に直面しており、ノイズに非常に敏感である。
本稿では,ニューラルネットワークを記号発見のための関数型プレコンディショナーとして扱うニューラルシンボリック回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-01T11:46:28Z) - Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning [78.88684753303794]
ディープラーニングは主にコンピュータビジョンと自然言語処理の応用を通じて進歩してきた。
ニューラル演算子は、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法である。
本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。
論文 参考訳(メタデータ) (2025-06-12T17:59:31Z) - NeuronSeek: On Stability and Expressivity of Task-driven Neurons [19.773883759021764]
プロトタイピングタスク駆動ニューロン(NeuronSeekと呼ばれる)は、最適なニューロンの定式化を発見するためにシンボリックレグレッション(SR)を用いる。
この研究は、最適な神経細胞の定式化を発見するために、シンボリック回帰をテンソル分解(TD)に置き換える。
我々は,任意の連続関数を任意に小さな誤差で近似するために,共通のアクティベーション関数でアグリゲーション関数を変更することで,パラメータの固定数のネットワークを拡張できることを理論的に保証する。
論文 参考訳(メタデータ) (2025-06-01T01:36:27Z) - Standard Neural Computation Alone Is Insufficient for Logical Intelligence [3.230778132936486]
論理的推論を統合するためには、標準的なニューラルネットワーク層を根本的に再考する必要がある、と我々は主張する。
論理演算の微分可能な近似を組み込んだ論理ニューラルネットワーク(LNU)モジュラーコンポーネントを提唱する。
論文 参考訳(メタデータ) (2025-02-04T09:07:45Z) - Compositional Generalization Across Distributional Shifts with Sparse Tree Operations [77.5742801509364]
我々は、微分可能木機械と呼ばれる統合されたニューロシンボリックアーキテクチャを導入する。
シンボル構造の疎ベクトル表現を用いることで,モデルの効率を大幅に向上する。
より一般的なseq2seq問題に制限されたtree2tree問題以外の適用を可能にする。
論文 参考訳(メタデータ) (2024-12-18T17:20:19Z) - Extensions to Generalized Annotated Logic and an Equivalent Neural
Architecture [4.855957436171202]
本稿では,ニューロシンボリックシステムに対する望ましい基準のリストを提案し,既存のアプローチのいくつかがこれらの基準にどう対処するかを検討する。
次に、等価なニューラルアーキテクチャの作成を可能にするアノテーション付き一般化論理の拡張を提案する。
トレーニングプロセスの継続的な最適化に依存する従来のアプローチとは異なり、当社のフレームワークは、離散最適化を使用する二項化ニューラルネットワークとして設計されている。
論文 参考訳(メタデータ) (2023-02-23T17:39:46Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。
本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
論文 参考訳(メタデータ) (2021-12-23T17:04:12Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。