論文の概要: Vertex-Softmax: Tight Transformer Verification via Exact Softmax Optimization

• arxiv url: http://arxiv.org/abs/2605.10974v1
• Date: Fri, 08 May 2026 20:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.27087
• Title: Vertex-Softmax: Tight Transformer Verification via Exact Softmax Optimization
• Title（参考訳）: Vertex-Softmax: 厳密なソフトマックス最適化によるタイトトランスフォーマー検証
• Authors: Navid Rezazadeh, Arash Gholami Davoodi,
• Abstract要約: 区間制約に対するソフトマックス関数の正確な最適性は、線形に多くの候補のうちの1つであることを示す。 CROWN Convex Relaxation based Optimization for Worst-case Neurons に統合された。 私たちは、α-CROWNとブランチ・アンド・バウンドのベースラインを、コストのごく一部で一貫して一致または上回る。
• 参考スコア（独自算出の注目度）: 2.102532345063307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Certified verification of transformer attention requires bounding the softmax function over interval constraints on the pre-softmax scores. Existing verifiers relax softmax ndependently of the downstream objective, leaving avoidable slack. We prove that the exact optimum of this score-box problem is attained at a vertex of the constraint box, and establish a threshold structure theorem showing that, after sorting the objective coefficients, the optimum lies among only linearly many candidates, yielding the Vertex-Softmax primitive with log-linear complexity in the sequence length. We further prove a formal optimality result showing that Vertex-Softmax is the tightest sound bound obtainable from score intervals alone, characterizing precisely what additional structure (score correlations, score-value coupling) is needed for further improvement. Integrated into a CROWN Convex Relaxation based Optimization for Worst-case Neurons)-style verifier with a formal soundness guarantee, Vertex-Softmax significantly improves certified rates and substantially tightens lower bounds across MNIST, Fashion-MNIST, and CIFAR-10 attention models, while consistently matching or outperforming alpha-CROWN and branch-and-bound baselines at a fraction of their cost.
• Abstract（参考訳）: 変圧器アテンションの認証は、ソフトマックス前のスコアのインターバル制約を越えてソフトマックス関数をバウンディングする必要がある。 既存の検証器は、下流の目的から独立してソフトマックスを緩和し、回避可能なスラックを残している。 このスコアボックス問題の正確な最適度が制約ボックスの頂点で達成されることを証明し、目的係数をソートした後、最適度は線形に多くの候補にしか属さないことを示すしきい値構造定理を確立し、列長の対数線形複雑性を持つVertex-Softmaxプリミティブを得る。 さらに,Vertex-Softmaxはスコア間隔のみから得られる最も厳密な音であり,さらなる改善のためにどのような追加構造(スコア相関,スコア値結合)が必要かを正確に評価した。 CROWN Convex Relaxation based Optimization for Worst-case Neurons)スタイルの検証器にフォーマルな音質保証が組み込まれ、Vertex-SoftmaxはMNIST、Fashion-MNIST、CIFAR-10のアテンションモデルに対する低いバウンダリを大幅に強化し、α-CROWNとブランチ・アンド・バウンドのベースラインを一貫した整合性や性能向上を実現した。

関連論文リスト

• First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints [9.141425189503794]
  フェデレート学習に適した1次ソフトマックス重み付きスイッチング勾配法を提案する。 完全なクライアント参加の下で、我々のアルゴリズムは標準的な $mathcalO(-4)$ Oracle complexity を達成する。 我々は、統一されたエラー分解を提供し、シャープな$mathcalO(logfrac1)$高確率収束保証を確立する。
  論文  参考訳（メタデータ） (2026-03-06T00:14:46Z)
• Statistical Advantage of Softmax Attention: Insights from Single-Location Regression [0.0]
  大規模言語モデルにおける代替案に対するソフトマックスの優位性について検討する。 ソフトマックスがベイズリスクを達成するのに対し、線形注意は基本的に不足していることを示す。 勾配に基づくアルゴリズムによる最適化の関連について論じる。
  論文  参考訳（メタデータ） (2025-09-26T06:21:30Z)
• Scalable Min-Max Optimization via Primal-Dual Exact Pareto Optimization [66.51747366239299]
  拡張ラグランジアンに基づくmin-max問題のスムーズな変種を提案する。 提案アルゴリズムは, 段階的戦略よりも目的数で拡張性が高い。
  論文  参考訳（メタデータ） (2025-03-16T11:05:51Z)
• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Convex Bounds on the Softmax Function with Applications to Robustness Verification [69.09991317119679]
  ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。 本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
  論文  参考訳（メタデータ） (2023-03-03T05:07:02Z)
• Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
  Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。 既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。 そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:57:18Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
  ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。 本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
  論文  参考訳（メタデータ） (2021-12-23T09:53:38Z)
• Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling [0.0]
  SBRSのSoftmaxボトルネックには、さらに多くの側面があることが示されています。 そこで本研究では,これらの問題を緩和するために,D&D(Dropout and Decoupling)というシンプルな手法を提案する。 本手法は,様々なSoftmaxベースのSBRSアルゴリズムの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-11T16:52:23Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。