論文の概要: Convex Bounds on the Softmax Function with Applications to Robustness Verification

• arxiv url: http://arxiv.org/abs/2303.01713v1
• Date: Fri, 3 Mar 2023 05:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:11:40.489634
• Title: Convex Bounds on the Softmax Function with Applications to Robustness Verification
• Title（参考訳）: ソフトマックス関数の凸境界とロバスト性検証への応用
• Authors: Dennis Wei, Haoze Wu, Min Wu, Pin-Yu Chen, Clark Barrett, Eitan Farchi
• Abstract要約: ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。 本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
• 参考スコア（独自算出の注目度）: 69.09991317119679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The softmax function is a ubiquitous component at the output of neural networks and increasingly in intermediate layers as well. This paper provides convex lower bounds and concave upper bounds on the softmax function, which are compatible with convex optimization formulations for characterizing neural networks and other ML models. We derive bounds using both a natural exponential-reciprocal decomposition of the softmax as well as an alternative decomposition in terms of the log-sum-exp function. The new bounds are provably and/or numerically tighter than linear bounds obtained in previous work on robustness verification of transformers. As illustrations of the utility of the bounds, we apply them to verification of transformers as well as of the robustness of predictive uncertainty estimates of deep ensembles.
• Abstract（参考訳）: softmax関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層でもますます使われている。 本稿では,ソフトマックス関数上の凸下界と凸上界について,ニューラルネットワークや他のmlモデルの特徴付けのための凸最適化定式化と適合する。 ソフトマックスの自然な指数-相互分解と対数-sum-exp関数の別の分解の両方を用いて境界を導出する。 新しい境界は、変圧器のロバスト性検証に関する以前の研究で得られた線形境界よりも証明可能および/または数値的に厳密である。 境界の有用性の具体例として、これらを変換器の検証や、深いアンサンブルの予測の不確実性推定のロバスト性に適用する。

関連論文リスト

• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
  ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。 本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
  論文  参考訳（メタデータ） (2021-12-23T09:53:38Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• Escaping the Gradient Vanishing: Periodic Alternatives of Softmax in Attention Mechanism [8.007523868483085]
  ソフトマックスは、マルチクラス分類、ゲート構造、アテンションメカニズムのためのニューラルネットワークで広く使われている。 本研究では,指数関数を周期関数で置き換えることを提案する。 本手法は, 勾配問題を緩和し, ソフトマックスとその変種と比較して大幅に改善できることが証明された。
  論文  参考訳（メタデータ） (2021-08-16T15:26:31Z)
• Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks [0.0]
  浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。 これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
  論文  参考訳（メタデータ） (2021-06-28T22:01:42Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions [73.33961743410876]
  ソフトマックス関数は近似と滑らかさの2つの主要な効率尺度を持つ。 近似と滑らか性の異なる尺度に対する最適近似-滑らか性トレードオフを同定する。 これにより、新しいソフトマックス関数が生まれ、それぞれ異なる用途に最適である。
  論文  参考訳（メタデータ） (2020-10-22T05:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。