Fugu-MT 論文翻訳(概要): A Solver-Free Framework for Scalable Learning in Neural ILP Architectures

論文の概要: A Solver-Free Framework for Scalable Learning in Neural ILP Architectures

arxiv url: http://arxiv.org/abs/2210.09082v1
Date: Mon, 17 Oct 2022 13:31:20 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 20:31:09.625484
Title: A Solver-Free Framework for Scalable Learning in Neural ILP Architectures
Title（参考訳）: ニューラルネットワークilpアーキテクチャにおけるスケーラブル学習のためのソルバフリーフレームワーク
Authors: Yatin Nandwani, Rishabh Ranjan, Mausam and Parag Singla
Abstract要約: ILPソルバをトレーニング時に全く呼ばないような代替のトレーニング戦略を提案する。私たちのソリューションは、平等と不平等な制約を扱うのに十分な柔軟性があります。特に,9×9の記号的,視覚的なスドクにおいて優れた性能が得られる。
参考スコア（独自算出の注目度）: 20.660984886207547
License: http://creativecommons.org/licenses/by/4.0/
Abstract: There is a recent focus on designing architectures that have an Integer Linear Programming (ILP) layer within a neural model (referred to as Neural ILP in this paper). Neural ILP architectures are suitable for pure reasoning tasks that require data-driven constraint learning or for tasks requiring both perception (neural) and reasoning (ILP). A recent SOTA approach for end-to-end training of Neural ILP explicitly defines gradients through the ILP black box (Paulus et al. 2021) - this trains extremely slowly, owing to a call to the underlying ILP solver for every training data point in a minibatch. In response, we present an alternative training strategy that is solver-free, i.e., does not call the ILP solver at all at training time. Neural ILP has a set of trainable hyperplanes (for cost and constraints in ILP), together representing a polyhedron. Our key idea is that the training loss should impose that the final polyhedron separates the positives (all constraints satisfied) from the negatives (at least one violated constraint or a suboptimal cost value), via a soft-margin formulation. While positive example(s) are provided as part of the training data, we devise novel techniques for generating negative samples. Our solution is flexible enough to handle equality as well as inequality constraints. Experiments on several problems, both perceptual as well as symbolic, which require learning the constraints of an ILP, show that our approach has superior performance and scales much better compared to purely neural baselines and other state-of-the-art models that require solver-based training. In particular, we are able to obtain excellent performance in 9 x 9 symbolic and visual sudoku, to which the other Neural ILP solver is not able to scale.
Abstract（参考訳）: 最近、ニューラルネットワークモデル内に整数線形プログラミング(ilp)層を持つアーキテクチャを設計することに焦点が当てられている(本論文ではneural ilpと呼ばれる)。ニューラルilpアーキテクチャは、データ駆動制約学習を必要とする純粋推論タスクや、知覚(ニューラル)と推論(ilp)の両方を必要とするタスクに適している。ニューラルICPのエンドツーエンドトレーニングのための最近のSOTAアプローチでは、ミニバッチ内の各トレーニングデータポイントに対する基礎となるICPソルバへの呼び出しにより、ICPブラックボックス(Paulus et al. 2021)の勾配を明示的に定義している。そこで本研究では,ICPソルバをトレーニング時にまったく呼び出さない,解決不能な代替トレーニング戦略を提案する。ニューラル ilp は訓練可能な超平面群(ilp のコストと制約のために)を持ち、ポリヘドロンを表す。私たちのキーとなる考え方は、トレーニング損失は、最後のポリヘドロンが正(全ての制約が満たされた)と負(少なくとも1つの制約違反または最適コスト値)をソフトマージンの定式化によって分離することを強制すべきであるということです。正の例がトレーニングデータの一部として提供される一方で、負のサンプルを生成するための新しい手法を考案する。私たちのソリューションは平等と不平等の制約を扱うのに十分柔軟です。 ILPの制約を学習するシンボリックと知覚の両方に関する実験は、我々のアプローチが純粋に神経ベースラインやその他の問題解決者ベースのトレーニングを必要とする最先端モデルよりも優れたパフォーマンスとスケールを持つことを示している。特に,9 x 9 のシンボルと視覚的スドクにおいて,他のニューラル ILP ソルバではスケールできない優れた性能が得られる。

関連論文リスト

Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
論文参考訳（メタデータ） (2024-08-09T17:05:45Z)
LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文参考訳（メタデータ） (2024-07-18T22:05:21Z)
Bridging Logic and Learning: A Neural-Symbolic Approach for Enhanced Reasoning in Neural Models (ASPER) [0.13053649021965597]
本稿では,学習推論タスクにおけるニューラルモデルの性能向上を目的としたアプローチを提案する。これを実現するために、Answer Set Programmingソルバとドメイン固有の専門知識を統合する。モデルは、トレーニングとテストのためにたった12のパズルを使用して、スドゥークパズルの解法を大幅に改善したことを示している。
論文参考訳（メタデータ） (2023-12-18T19:06:00Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
論文参考訳（メタデータ） (2022-11-13T17:48:04Z)
Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文参考訳（メタデータ） (2022-08-09T02:29:42Z)
Unsupervised Training for Neural TSP Solver [2.9398911304923447]
本稿では,トラベリングセールスマン問題を解決するための教師なし学習手法を提案する。我々は、TSPの整数線型プログラムを緩和して、正しいインスタンスラベルを必要としない損失関数を構築する。私たちのアプローチは、強化学習よりも安定しており、トレーニングも簡単です。
論文参考訳（メタデータ） (2022-07-27T17:33:29Z)
An alternative approach to train neural networks using monotone variational inequality [22.320632565424745]
本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
論文参考訳（メタデータ） (2022-02-17T19:24:20Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
Conditional Neural Architecture Search [5.466990830092397]
これは、よく訓練されたMLモデルがエッジプラットフォームをデプロイする制約に適合しない場合が多い。本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。
論文参考訳（メタデータ） (2020-06-06T20:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。