論文の概要: Neuro-Symbolic Constraint Programming for Structured Prediction
- arxiv url: http://arxiv.org/abs/2103.17232v1
- Date: Wed, 31 Mar 2021 17:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:26:35.737355
- Title: Neuro-Symbolic Constraint Programming for Structured Prediction
- Title(参考訳): 構造化予測のためのニューロシンボリック制約プログラミング
- Authors: Paolo Dragone, Stefano Teso, Andrea Passerini
- Abstract要約: ニューラルネットワークを制約付き構造予測器に注入する手法であるNesterを提案する。
Nesterは2つのコンポーネントの特徴を活用している。ニューラルネットワークは低レベルのデータから複雑な表現を学習する。
手書き式認識の実証的評価は、Nesterがニューラルネットワークと制約構造予測器の両方よりも優れたパフォーマンスを達成することを示している。
- 参考スコア(独自算出の注目度): 32.427665902031436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Nester, a method for injecting neural networks into constrained
structured predictors. The job of the neural network(s) is to compute an
initial, raw prediction that is compatible with the input data but does not
necessarily satisfy the constraints. The structured predictor then builds a
structure using a constraint solver that assembles and corrects the raw
predictions in accordance with hard and soft constraints. In doing so, Nester
takes advantage of the features of its two components: the neural network
learns complex representations from low-level data while the constraint
programming component reasons about the high-level properties of the prediction
task. The entire architecture can be trained in an end-to-end fashion. An
empirical evaluation on handwritten equation recognition shows that Nester
achieves better performance than both the neural network and the constrained
structured predictor on their own, especially when training examples are
scarce, while scaling to more complex problems than other neuro-programming
approaches. Nester proves especially useful to reduce errors at the semantic
level of the problem, which is particularly challenging for neural network
architectures.Sub
- Abstract(参考訳): ニューラルネットワークを制約付き構造予測器に注入する手法であるNesterを提案する。
ニューラルネットワークの仕事は、入力データと互換性があるが必ずしも制約を満たすとは限らない、初期的で生の予測を計算することである。
構造化予測器は、硬く柔らかい制約に従って生の予測を組み立て、修正する制約解決器を用いて構造を構築する。
ニューラルネットワークは低レベルのデータから複雑な表現を学習し、制約プログラミングコンポーネントは予測タスクの高レベルの特性を理由としている。
アーキテクチャ全体はエンドツーエンドでトレーニングすることができる。
手書きの方程式認識に関する経験的評価により、ネスターはニューラルネットワークと制約付き構造化予測器の両方よりも、特にトレーニング例が不足している場合には、それ自体で優れた性能を達成でき、他の神経プログラミングアプローチよりも複雑な問題にスケールできることが示された。
Nesterは、問題の意味レベルでエラーを減らすのに特に有用であることを証明している。
関連論文リスト
- Structural generalization in COGS: Supertagging is (almost) all you need [12.991247861348048]
最近のセマンティック解析データセットは、合成一般化が必要な場合において、ニューラルネットワークの重要な制限を提示している。
この問題を軽減するために、ニューラルネットワークベースのセマンティックパーシングフレームワークをいくつかの方法で拡張します。
論文 参考訳(メタデータ) (2023-10-21T21:51:25Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳(メタデータ) (2023-02-28T00:04:22Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳(メタデータ) (2023-02-06T16:54:20Z) - Seeking Interpretability and Explainability in Binary Activated Neural
Networks [3.341112547288814]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。
本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文 参考訳(メタデータ) (2022-09-07T20:11:17Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳(メタデータ) (2022-01-14T06:42:42Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - NeuroLogic Decoding: (Un)supervised Neural Text Generation with
Predicate Logic Constraints [75.66980495245926]
条件付きテキスト生成は、しばしば語彙的な制約を必要とする。
我々は、ニューラルネットワークモデル -- 教師付きか否かに関わらず -- がフロートテキストを生成することを可能にする、シンプルで効果的なアルゴリズムであるNeuroLogic Decodingを提案する。
この結果から,制御可能な微粒化生成のための大規模ニューラルネットワークの限界と,推論時間アルゴリズムの約束が示唆された。
論文 参考訳(メタデータ) (2020-10-24T11:55:22Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。