論文の概要: Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions

• arxiv url: http://arxiv.org/abs/2010.11450v1
• Date: Thu, 22 Oct 2020 05:19:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 08:01:50.230122
• Title: Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions
• Title（参考訳）: 最適近似-ソフトマックス関数の滑らか性トレードオフ
• Authors: Alessandro Epasto, Mohammad Mahdian, Vahab Mirrokni, Manolis Zampetakis
• Abstract要約: ソフトマックス関数は近似と滑らかさの2つの主要な効率尺度を持つ。 近似と滑らか性の異なる尺度に対する最適近似-滑らか性トレードオフを同定する。 これにより、新しいソフトマックス関数が生まれ、それぞれ異なる用途に最適である。
• 参考スコア（独自算出の注目度）: 73.33961743410876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A soft-max function has two main efficiency measures: (1) approximation - which corresponds to how well it approximates the maximum function, (2) smoothness - which shows how sensitive it is to changes of its input. Our goal is to identify the optimal approximation-smoothness tradeoffs for different measures of approximation and smoothness. This leads to novel soft-max functions, each of which is optimal for a different application. The most commonly used soft-max function, called exponential mechanism, has optimal tradeoff between approximation measured in terms of expected additive approximation and smoothness measured with respect to R\'enyi Divergence. We introduce a soft-max function, called "piecewise linear soft-max", with optimal tradeoff between approximation, measured in terms of worst-case additive approximation and smoothness, measured with respect to $\ell_q$-norm. The worst-case approximation guarantee of the piecewise linear mechanism enforces sparsity in the output of our soft-max function, a property that is known to be important in Machine Learning applications [Martins et al. '16, Laha et al. '18] and is not satisfied by the exponential mechanism. Moreover, the $\ell_q$-smoothness is suitable for applications in Mechanism Design and Game Theory where the piecewise linear mechanism outperforms the exponential mechanism. Finally, we investigate another soft-max function, called power mechanism, with optimal tradeoff between expected \textit{multiplicative} approximation and smoothness with respect to the R\'enyi Divergence, which provides improved theoretical and practical results in differentially private submodular optimization.
• Abstract（参考訳）: ソフトマックス関数は、(1)最大関数の近似値に対応する近似値、(2)滑らか度、(2)入力の変化に対する感度を示す2つの主要な効率尺度を持つ。 我々の目標は、近似と滑らかさの異なる尺度に対する最適近似-スムースネストレードオフを特定することである。 これにより新しいソフトマックス関数が生まれ、それぞれが別の用途に最適である。 最もよく使われるソフトマックス関数は指数的機構と呼ばれ、予想される加法近似とR'enyi分数に関して測定される滑らかさで測定される近似の間の最適なトレードオフを持つ。 本研究では, 最短加法近似と平滑性の観点から, 近似値の最適トレードオフを, $\ell_q$-norm で測定したソフトマックス関数「ピースワイズ線形ソフトマックス」を導入する。 これは機械学習アプリケーション(Martins et al. '16, Laha et al. '18]において重要な特性であり、指数関数機構に満たされない性質である。 さらに、$\ell_q$-smoothness は、分割線形機構が指数的メカニズムを上回るような機構設計とゲーム理論の応用に適している。 最後に、R\enyi Divergence に対する期待された \textit{multiplicative} 近似と滑らかさの間の最適トレードオフを伴い、パワー機構と呼ばれる別のソフトマックス関数について検討する。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Covariance Matrix Adaptation Evolutionary Strategy with Worst-Case Ranking Approximation for Min--Max Optimization and its Application to Berthing Control Tasks [19.263468901608785]
  我々は mathbbX max_y in mathbbYf(x,y)$ の連続 min-max 最適化問題 $min_x を考える。 最悪の対象関数である$F(x) = max_y f(x,y)$を直接最小化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-28T15:50:56Z)
• Inference on Optimal Dynamic Policies via Softmax Approximation [27.396891119011215]
  最適な治療体制に対するソフトマックスの簡単な近似は、真に最適な治療体制に対する妥当な推測を達成できることを示す。 我々の研究は、半パラメトリック推論と$g$-estimationの技法と適切な配列中央極限定理を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-03-08T07:42:47Z)
• Convex Bounds on the Softmax Function with Applications to Robustness Verification [69.09991317119679]
  ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。 本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
  論文  参考訳（メタデータ） (2023-03-03T05:07:02Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
  ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。 本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
  論文  参考訳（メタデータ） (2021-12-23T09:53:38Z)
• Stabilizing Q Learning Via Soft Mellowmax Operator [12.208344427928466]
  Mellowmaxは学習と計画における収束行動を可能にする、微分可能で非拡張型ソフトマックス演算子である。 SM2演算子を多エージェント強化学習シナリオに適用することにより,安定な値関数近似と技術性能の状態を実現できることを示す。
  論文  参考訳（メタデータ） (2020-12-17T09:11:13Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。