論文の概要: Karush-Kuhn-Tucker Condition-Trained Neural Networks (KKT Nets)

• arxiv url: http://arxiv.org/abs/2410.15973v1
• Date: Mon, 21 Oct 2024 12:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:37.501643
• Title: Karush-Kuhn-Tucker Condition-Trained Neural Networks (KKT Nets)
• Title（参考訳）: Karush-Kuhn-Tucker条件学習ニューラルネットワーク(KKTネット)
• Authors: Shreya Arvind, Rishabh Pomaje, Rajshekhar V Bhat,
• Abstract要約: 本稿では,KKT(Karush-Kuhn-Tucker)条件を利用して凸最適化問題の解法を提案する。 理論学習ニューラルネットワーク(TTNN)と同様に、凸最適化問題のパラメータがニューラルネットワークに入力される。 この場合の損失関数の選択は損失であり、KKT損失と呼ばれ、ネットワークの出力がKKT条件をどのように満足するかを測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents a novel approach to solving convex optimization problems by leveraging the fact that, under certain regularity conditions, any set of primal or dual variables satisfying the Karush-Kuhn-Tucker (KKT) conditions is necessary and sufficient for optimality. Similar to Theory-Trained Neural Networks (TTNNs), the parameters of the convex optimization problem are input to the neural network, and the expected outputs are the optimal primal and dual variables. A choice for the loss function in this case is a loss, which we refer to as the KKT Loss, that measures how well the network's outputs satisfy the KKT conditions. We demonstrate the effectiveness of this approach using a linear program as an example. For this problem, we observe that minimizing the KKT Loss alone outperforms training the network with a weighted sum of the KKT Loss and a Data Loss (the mean-squared error between the ground truth optimal solutions and the network's output). Moreover, minimizing only the Data Loss yields inferior results compared to those obtained by minimizing the KKT Loss. While the approach is promising, the obtained primal and dual solutions are not sufficiently close to the ground truth optimal solutions. In the future, we aim to develop improved models to obtain solutions closer to the ground truth and extend the approach to other problem classes.
• Abstract（参考訳）: 本稿では、ある正則性条件下では、カルーシュ・クーン・タッカー(KKT)条件を満たす任意の原始変数あるいは双対変数の集合が最適性のために必要かつ十分であるという事実を活用することにより、凸最適化問題を解決する新しい手法を提案する。 理論学習ニューラルネットワーク(TTNN)と同様に、凸最適化問題のパラメータはニューラルネットワークに入力され、期待される出力は最適原始変数と双対変数である。 この場合の損失関数の選択は損失であり、KKT損失と呼ばれ、ネットワークの出力がKKT条件をどのように満足するかを測定する。 本稿では,線形プログラムを例として,このアプローチの有効性を示す。 この問題に対して、KKT損失を最小化するだけで、KKT損失とデータ損失の重み付き和でネットワークをトレーニングする(基底真理最適解とネットワークの出力の平均二乗誤差)。 さらに、データ損失のみを最小化すると、KKT損失を最小化する結果よりも劣る。 アプローチは有望であるが、得られた原始解と双対解は、基底真理最適解に十分近いものではない。 将来的には,改良されたモデルを開発し,真理に近い解を得るとともに,他の問題クラスにアプローチを拡張することを目指している。

関連論文リスト

• A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
  Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T07:24:11Z)
• Optimization Proxies using Limited Labeled Data and Training Time -- A Semi-Supervised Bayesian Neural Network Approach [2.943640991628177]
  制約のある最適化問題は、在庫管理電力グリッドのような様々なエンジニアリングシステムで発生する。 本研究では,ベイジアンネットワーク(BNN)を用いて,制限されたデータと制限されたモデル時間の下での制約付き最適化問題の解法を提案する。 提案手法は,従来のBNNおよびディープニューラルネットワーク(DNN)アーキテクチャよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-04T02:10:20Z)
• KKT-Informed Neural Network [0.0]
  凸最適化問題を解決するニューラルネットワークに基づくアプローチを提案する。 ネットワークは入力パラメータのバッチが与えられた最適点を推定する。 カルーシュ=クーン=タッカー条件の違反を罰し、その予測がこれらの最適基準に従うことを保証している。
  論文  参考訳（メタデータ） (2024-09-11T15:49:36Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
  ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。 本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
  論文  参考訳（メタデータ） (2023-03-02T18:24:26Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
  ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:50:53Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• DAGs with No Fears: A Closer Look at Continuous Optimization for Learning Bayesian Networks [45.3591788771536]
  我々はベイズネットワーク学習のためのNOTEARSという連続最適化フレームワークを再検討する。 本論文では,NOTEARSに対するKarush-Kuhn-Tucker最適条件は,自明な場合を除いて満足できないことを示す。 ローカル検索の組み合わせは、元のNOTEARSよりも正確かつ効率的である。
  論文  参考訳（メタデータ） (2020-10-18T22:59:37Z)
• Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation [120.69747175899421]
  ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-12T17:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。