論文の概要: Tightening convex relaxations of trained neural networks: a unified approach for convex and S-shaped activations

• arxiv url: http://arxiv.org/abs/2410.23362v1
• Date: Wed, 30 Oct 2024 18:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:56.240805
• Title: Tightening convex relaxations of trained neural networks: a unified approach for convex and S-shaped activations
• Title（参考訳）: 訓練ニューラルネットワークの密接な凸緩和--凸とS字型活性化の統一的アプローチ
• Authors: Pablo Carrasco, Gonzalo Muñoz,
• Abstract要約: 本研究では,アフィン関数を持つ活性化成分の密接な凸化を導出する公式を開発する。 我々の手法は、分離された超平面を効率的に計算したり、様々な設定に存在しないと判断したりすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The non-convex nature of trained neural networks has created significant obstacles in their incorporation into optimization models. Considering the wide array of applications that this embedding has, the optimization and deep learning communities have dedicated significant efforts to the convexification of trained neural networks. Many approaches to date have considered obtaining convex relaxations for each non-linear activation in isolation, which poses limitations in the tightness of the relaxations. Anderson et al. (2020) strengthened these relaxations and provided a framework to obtain the convex hull of the graph of a piecewise linear convex activation composed with an affine function; this effectively convexifies activations such as the ReLU together with the affine transformation that precedes it. In this article, we contribute to this line of work by developing a recursive formula that yields a tight convexification for the composition of an activation with an affine function for a wide scope of activation functions, namely, convex or ``S-shaped". Our approach can be used to efficiently compute separating hyperplanes or determine that none exists in various settings, including non-polyhedral cases. We provide computational experiments to test the empirical benefits of these convex approximations.
• Abstract（参考訳）: 訓練されたニューラルネットワークの非凸性は、最適化モデルへの組み込みにおいて大きな障害を生み出している。 この埋め込みが持つ幅広いアプリケーションを考えると、最適化とディープラーニングコミュニティは、トレーニングされたニューラルネットワークの凸化に多大な努力を払ってきた。 これまでの多くのアプローチでは、分離された各非線形活性化に対する凸緩和が検討されており、緩和の厳密性に制限が生じる。 Anderson et al (2020) はこれらの緩和を強化し、アフィン関数からなる片方向線型凸活性化グラフの凸殻を得るための枠組みを提供し、それより前のアフィン変換とともにReLUのような活性化を効果的に凸化する。 本稿では,アクティベーション関数の広い範囲,すなわち凸あるいは‘S字型’の活性化関数に対して,アクティベーション関数とアクティベーション関数を組み合わせた構成の密接な凸化を導出する再帰公式を開発することにより,この研究の行に寄与する。 我々の手法は、超平面の分離を効率的に計算したり、非多面体の場合を含む様々な設定に存在しないことを決定するのに使うことができる。 これらの凸近似の経験的利点をテストするための計算実験を提供する。

関連論文リスト

• Achieving the Tightest Relaxation of Sigmoids for Formal Verification [9.118502451414082]
  本稿では,シグイド関数の上下の調整可能な超平面を導出する。 $alpha$-sigにより、Sigoidアクティベーション関数の可能な、要素単位の凸緩和を形式的な検証フレームワークに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2024-08-20T02:22:27Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning [36.19092177858517]
  提案手法は,不正確なが,より安価な投影法により,降下アルゴリズムを最適に駆動できるかどうかを考察する。 具体的には,凸,領域定義,関数が与えられた場合,計算コストが低く,計算が容易な非コンパクトなプロジェクションを提案する。
  論文  参考訳（メタデータ） (2020-11-13T16:52:50Z)
• Ideal formulations for constrained convex optimization problems with indicator variables [2.578242050187029]
  本研究では,指標変数と指標に対する制約を用いた凸最適化問題のクラスを凸化することを検討した。 スパース回帰問題の凸化に関する従来の研究とは異なり、非線形非分離対象、指標変数、制約を同時に検討する。 階層性,多行性,空間性制約といった問題に対する理想的な凸化を導出する。
  論文  参考訳（メタデータ） (2020-06-30T21:07:10Z)
• The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification [11.10637926254491]
  我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。 ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-24T22:16:58Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。