論文の概要: Expressing linear equality constraints in feedforward neural networks

• arxiv url: http://arxiv.org/abs/2211.04395v1
• Date: Tue, 8 Nov 2022 17:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 16:03:26.090267
• Title: Expressing linear equality constraints in feedforward neural networks
• Title（参考訳）: フィードフォワードニューラルネットワークにおける線形等式制約の表現
• Authors: Anand Rangarajan, Pan He, Jaemoon Lee, Tania Banerjee, Sanjay Ranka
• Abstract要約: 制約が課される予測補助変数を持つ新しいサドル点ラグランジアンを導入する。 補助変数の除去は、線形制約を満たすために導入されたラグランジュ乗算器上の双対最小化問題につながる。 ラグランジュパラメータの驚くべき解釈は、制約から生じる固定重みを持つ無限層隠蔽単位として得られる。
• 参考スコア（独自算出の注目度）: 9.918927210224165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We seek to impose linear, equality constraints in feedforward neural networks. As top layer predictors are usually nonlinear, this is a difficult task if we seek to deploy standard convex optimization methods and strong duality. To overcome this, we introduce a new saddle-point Lagrangian with auxiliary predictor variables on which constraints are imposed. Elimination of the auxiliary variables leads to a dual minimization problem on the Lagrange multipliers introduced to satisfy the linear constraints. This minimization problem is combined with the standard learning problem on the weight matrices. From this theoretical line of development, we obtain the surprising interpretation of Lagrange parameters as additional, penultimate layer hidden units with fixed weights stemming from the constraints. Consequently, standard minimization approaches can be used despite the inclusion of Lagrange parameters -- a very satisfying, albeit unexpected, discovery. Examples ranging from multi-label classification to constrained autoencoders are envisaged in the future.
• Abstract（参考訳）: 我々は、フィードフォワードニューラルネットワークに線形で平等な制約を課そうとする。 上位層予測器は通常非線形であるため、標準的な凸最適化手法と強い双対性を展開しようとする場合、これは難しい課題である。 これを克服するために,制約を課す補助予測変数を持つ新たな鞍点ラグランジアンを導入する。 補助変数の除去は、線形制約を満たすために導入されたラグランジュ乗算器上の双対最小化問題をもたらす。 この最小化問題は、重量行列の標準学習問題と組み合わせられる。 この理論的な展開線から、ラグランジュパラメータの驚くほどの解釈を、制約から生じる固定重みを持つ有極層隠蔽単位として得られる。 したがって、ラグランジュパラメータを含むにもかかわらず、標準的な最小化アプローチは使用できる -- 非常に満足できるが、予期せぬ発見である。 マルチラベル分類から制約付きオートエンコーダまで,将来的には検討される。

関連論文リスト

• A space-decoupling framework for optimization on bounded-rank matrices with orthogonally invariant constraints [4.917399520581689]
  有界ランク行列の最適化のための空間分離フレームワークを提案する。 結合制約の接円錐は各制約の接円錐の交叉であることを示す。 改定問題と原問題との等価性を明らかにする。
  論文  参考訳（メタデータ） (2025-01-23T16:54:03Z)
• Reduced-Space Iteratively Reweighted Second-Order Methods for Nonconvex Sparse Regularization [11.56128809794923]
  本稿では,局所的なプロパティ収束の反復を$ell_p-$で行うような非スパース性プロモート正規化問題について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:15:59Z)
• Network Topology Inference with Sparsity and Laplacian Constraints [18.447094648361453]
  我々はラプラシアの制約付きガウス図形モデルを用いてネットワークトポロジに取り組む。 この問題を解決するために,効率的なプロジェクションアルゴリズムが開発された。
  論文  参考訳（メタデータ） (2023-09-02T15:06:30Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
  深層強化学習のための線形プログラミング(LP)の定式化について検討する。 拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。 深層パラメタライズされたラグランジアン法を提案する。
  論文  参考訳（メタデータ） (2021-05-20T13:08:06Z)
• Simplifying Hamiltonian and Lagrangian Neural Networks via Explicit Constraints [49.66841118264278]
  私たちは、現在のアプローチの限界を押し上げるために、一連の挑戦的なカオスと拡張ボディシステムを導入します。 実験の結果,明示的な制約を持つモンテカルロ座標は,精度とデータ効率を100倍に向上させることがわかった。
  論文  参考訳（メタデータ） (2020-10-26T13:35:16Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Competitive Mirror Descent [67.31015611281225]
  制約のある競合最適化には、制約の対象となる競合する目的を最小化しようとする複数のエージェントが含まれる。 本稿では, 競合ミラー降下法(CMD)を提案する。 特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-06-17T22:11:35Z)
• Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing [7.4769019455423855]
  リプシッツ制約による損失最小化の1つとして、逆向きに頑健な学習問題を定式化する。 関連するラグランジアンのサドル点は、重み付きラプラス作用素を持つポアソン方程式によって特徴づけられることを示す。 グラフに基づく入力空間の離散化と、ラグランジアンサドル点に収束する原始双対アルゴリズムを用いて、証明可能なロバストなトレーニングスキームを設計する。
  論文  参考訳（メタデータ） (2020-06-05T22:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。