論文の概要: GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent
- arxiv url: http://arxiv.org/abs/2409.17500v2
- Date: Mon, 11 Nov 2024 10:17:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:03:38.646623
- Title: GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent
- Title（参考訳）: GLinSAT: 勾配の加速による一般線形満足度ニューラルネットワーク層
- Authors: Hongtai Zeng, Chao Yang, Yanzhen Zhou, Cheng Yang, Qinglai Guo,
- Abstract要約: まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。
数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するため,アーキテクチャGLinSATを提案する。
これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
- 参考スコア（独自算出の注目度）: 12.409030267572243
- License:
- Abstract: Ensuring that the outputs of neural networks satisfy specific constraints is crucial for applying neural networks to real-life decision-making problems. In this paper, we consider making a batch of neural network outputs satisfy bounded and general linear constraints. We first reformulate the neural network output projection problem as an entropy-regularized linear programming problem. We show that such a problem can be equivalently transformed into an unconstrained convex optimization problem with Lipschitz continuous gradient according to the duality theorem. Then, based on an accelerated gradient descent algorithm with numerical performance enhancement, we present our architecture, GLinSAT, to solve the problem. To the best of our knowledge, this is the first general linear satisfiability layer in which all the operations are differentiable and matrix-factorization-free. Despite the fact that we can explicitly perform backpropagation based on automatic differentiation mechanism, we also provide an alternative approach in GLinSAT to calculate the derivatives based on implicit differentiation of the optimality condition. Experimental results on constrained traveling salesman problems, partial graph matching with outliers, predictive portfolio allocation and power system unit commitment demonstrate the advantages of GLinSAT over existing satisfiability layers. Our implementation is available at \url{https://github.com/HunterTracer/GLinSAT}.
- Abstract（参考訳）: ニューラルネットワークの出力が特定の制約を満たすことを保証することは、ニューラルネットワークを実生活における意思決定問題に適用するために不可欠である。
本稿では,ニューラルネットワークの一連の出力を有界および一般線形制約を満たすものにすることを検討する。
まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。
このような問題は、双対性定理に従ってリプシッツ連続勾配を持つ非制約凸最適化問題に同値に変換できることを示す。
そして,数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するためのアーキテクチャGLinSATを提案する。
我々の知る限りでは、これはすべての操作が微分可能で行列分解のない、最初の一般線形満足層である。
自動微分機構に基づくバックプロパゲーションを明示的に行うことができるにもかかわらず、最適化条件の暗黙的な微分に基づいて導関数を計算するための別のアプローチもGLinSATで提供する。
制約付きトラベルセールスマン問題,部分グラフマッチング,予測ポートフォリオ割り当て,電力系統単位のコミットメントに関する実験結果は,既存の満足層よりもGLinSATの利点を実証している。
我々の実装は \url{https://github.com/HunterTracer/GLinSAT} で利用可能です。
関連論文リスト
- Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。
傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。
本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
論文 参考訳（メタデータ） (2024-08-23T14:39:27Z) - Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳（メタデータ） (2024-08-17T02:22:08Z) - LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。
IGDは線形収束速度で大域的に最適解を収束することを示す。
論文 参考訳（メタデータ） (2024-07-03T06:10:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Implicit regularization in AI meets generalized hardness of
approximation in optimization -- Sharp results for diagonal linear networks [0.0]
直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。
これを近似の一般化硬度における相転移現象と関連付ける。
結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
論文 参考訳（メタデータ） (2023-07-13T13:27:51Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Improved Overparametrization Bounds for Global Convergence of Stochastic
Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文 参考訳（メタデータ） (2022-01-28T11:30:06Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳（メタデータ） (2020-10-25T17:10:22Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。