論文の概要: Pay Attention to Attention Distribution: A New Local Lipschitz Bound for Transformers

• arxiv url: http://arxiv.org/abs/2507.07814v1
• Date: Thu, 10 Jul 2025 14:45:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.448156
• Title: Pay Attention to Attention Distribution: A New Local Lipschitz Bound for Transformers
• Title（参考訳）: 注意分布への注意:変圧器用局所リプシッツ境界
• Authors: Nikolay Yudin, Alexander Gaponov, Sergei Kudriashov, Maxim Rakhuba,
• Abstract要約: 変圧器の自己アテンションブロックに対する局所リプシッツを新たに提案する。 注意マップ内の分布がリプシッツ定数の観点からのロバスト性にどのように影響するかを説明する。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel local Lipschitz bound for self-attention blocks of transformers. This bound is based on a refined closed-form expression for the spectral norm of the softmax function. The resulting bound is not only more accurate than in the prior art, but also unveils the dependence of the Lipschitz constant on attention score maps. Based on the new findings, we suggest an explanation of the way distributions inside the attention map affect the robustness from the Lipschitz constant perspective. We also introduce a new lightweight regularization term called JaSMin (Jacobian Softmax norm Minimization), which boosts the transformer's robustness and decreases local Lipschitz constants of the whole network.
• Abstract（参考訳）: 変圧器の自己アテンションブロックに対する局所リプシッツを新たに提案する。 この境界はソフトマックス関数のスペクトルノルムに対する洗練された閉形式表現に基づいている。 得られた境界は、以前の技術よりも正確であるだけでなく、注意点マップに対するリプシッツ定数の依存性も明らかにしている。 新しい知見に基づき、注意マップ内の分布がリプシッツ定数の観点からのロバスト性にどのように影響するかを説明する。 また,JaSMin(Jacobian Softmax norm Minimization,ヤコビアン・ソフトマックスノルム最小化)と呼ばれる新しい軽量正規化項を導入し,トランスフォーマーのロバスト性を高め,ネットワーク全体の局所リプシッツ定数を減少させる。

関連論文リスト

• MIQCQP reformulation of the ReLU neural networks Lipschitz constant estimation problem [0.0]
  ニューラルネットワークのリプシッツ推定問題に対する2次拘束型MIP定式化を提案する。 これらの問題の解はリプシッツ定数の下限と上限を与える。 我々は、それらが正確なリプシッツ定数と一致するときの条件を詳述する。
  論文  参考訳（メタデータ） (2024-02-02T07:55:42Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• Some Fundamental Aspects about Lipschitz Continuity of Neural Networks [6.576051895863941]
  リプシッツ連続性は任意の予測モデルの重要な機能特性である。 ニューラルネットワークのリプシッツ挙動を調べた。 リプシッツ下界の顕著な忠実さを示し、リプシッツ上界と下界の両方で顕著な二重発振傾向を同定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。
  論文  参考訳（メタデータ） (2023-02-21T18:59:40Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• The Lipschitz Constant of Self-Attention [27.61634862685452]
  ニューラルネットワークのリプシッツ定数は、ディープラーニングにおいて様々な文脈で研究されている。 配列モデリングに広く用いられている非線形ニューラルネットワークモジュールである自己アテンションのリプシッツ定数について検討する。
  論文  参考訳（メタデータ） (2020-06-08T16:08:38Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。