論文の概要: Conic Certification of Transformer Attention

• arxiv url: http://arxiv.org/abs/2611.00585v1
• Date: Sat, 31 Oct 2026 03:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.416795
• Title: Conic Certification of Transformer Attention
• Title（参考訳）: 変圧器注意のコニック認証
• Abstract要約: 弱い証明書は脆弱なモデルとは区別できない。 難易度はソフトマックスではなく、キーに対する様々なクエリの双方向相互作用にあることを証明している。 ネットワークを1回に1回処理し,その間の線形有界伝播を行う緩和は,1つの結合した最大値ではなく,2次項の最大値の和を支払うことを示す。
• 参考スコア（独自算出の注目度）: 1.3537117504260623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention is the computational core of large language models, yet the verifiers that bound how far an attention head's output can move under input perturbations give no guarantee on how loose their bounds are. A weak certificate therefore cannot be told apart from a fragile model. We develop a conic programming theory of attention certification that supplies this guarantee. We prove that the difficulty lies not in the softmax but in the bilinear interaction of a varying query with the keys. This interaction makes certification NP-hard over boxes and inapproximable once the attention logits can move by a constant amount. A fixed query or listed token substitutions, by contrast, make the exact worst case efficiently computable. An exponential cone moment relaxation then certifies a head with an error bounded quadratically in the perturbation radius by computable quantities, an order that cannot be improved. We also show that relaxations that treat a network one operation at a time, linear bound propagation among them, pay on second-order terms a sum of per-operation maxima instead of one coupled maximum. Computational results on GPT-2 indicate that the theory carries over to a trained model. Against exact worst cases with the query fixed, the certificate attains the predicted second-order accuracy. It is tighter than linear bound propagation on every head, and the looseness of bound propagation tracks the predicted per-operation excess.
• Abstract（参考訳）: 注意は、大きな言語モデルの計算コアであるが、注意ヘッドの出力が入力の摂動の下でどこまで動くかという検証は、それらの境界がどれほど緩いかを保証しない。 したがって、弱い証明書は脆弱なモデルとは区別できない。 我々はこの保証を提供する円錐プログラミングの注意証明理論を開発した。 難易度はソフトマックスではなく、キーに対する様々なクエリの双方向相互作用にあることを証明している。 この相互作用は、認定NPをボックス上でハードにし、アテンションロジットが一定量移動できると不適合にする。 対照的に、固定されたクエリやリストされたトークン置換は、正確な最悪のケースを効率的に計算できる。 指数的コーンモーメント緩和は、計算可能な量によって摂動半径の2次有界な誤差を持つ頭部を認証する。 また, ネットワークを1回に1回処理する緩和, 線形有界伝播, 2次項を1つの結合最大値ではなく2次項の最大値の和として支払うことも示す。 GPT-2の計算結果は、理論が訓練されたモデルに受け継がれることを示している。 クエリが固定された正確な最悪のケースに対して、証明書は予測された2次の精度を達成する。 各ヘッド上の線形有界伝播よりも厳密であり、有界伝播のゆるさは予測される操作当たりの過大さをトラックする。

関連論文リスト

• One-shot entanglement generation and distillation via Petz recovery and binary hypothesis testing [11.602089225841631]
  量子チャネル上のエンタングルメント生成と共有状態からのワンショットエンタングルメント蒸留に対するワンショット境界を証明した。 試行錯誤を行う場合、対数残余は一定に向上する。 これらの結果は、バイナリの識別可能性から明示的な回復保証、および有限リソースの量子通信速度への直接的な経路を与える。
  論文  参考訳（メタデータ） (2026-10-22T16:18:29Z)
• When a Flatness Proxy Is Not a Function: Robustness Certificates and Training Interventions [1.9909262723844419]
  有効な曲率上限は、ロバスト性証明や本質的な予測特性の介入を正当化しない。 グローバルに有効なゲージ不変な特徴空間修復を導出する。 45回にわたってアルゴリズムモデルと画像モデルのワンステップテストを行い、増幅されたシフトは原規則化予測器を分離し、商規則化予測器は整列する。
  論文  参考訳（メタデータ） (2026-09-29T20:57:34Z)
• Sound and Efficient Certification of High-Quality Qubit Operations: Theory and Experiment [23.48673361417131]
  固定的な決定論的シーケンスの小さなセットに基づいて,単一キュービットゲートに対する健全なブラックボックス認証プロトコルを導入する。 データから、このプロトコルは、ゲージ不変性であるゲートの回転固有値上の有限サンプル境界を導出する。 これらのスペクトル制約は、物理的に意味のある基底のユニタリな変化まで、時間非依存のキュービットモデルごとに厳密な平均ゲート忠実度が低いことを示す。
  論文  参考訳（メタデータ） (2026-08-17T18:03:00Z)
• Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications [10.268619734362547]
  本稿では,提案手法を導入し,NN検証器への線形呼び出し数でアポテム最適証明を計算する方法を示す。 また,標準的なMNISTおよびFashion MNISTベンチマークで評価したParallelepipedoNNシステムを提案する。
  論文  参考訳（メタデータ） (2026-06-22T18:50:52Z)
• Reliable Error Estimation for PINNs: Lower and Upper A Posteriori Bounds [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、機械学習と物理法則を組み合わせて微分方程式を解く。 適切な状態空間領域上での常微分方程式におけるPINN誤差に対する計算可能なエンファの下位境界を導出する。 得られた境界は、ニューラルネットワーク近似、ODE残差、局所単調性および成長定数にのみ依存する。
  論文  参考訳（メタデータ） (2026-06-10T13:15:32Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Towards Evading the Limits of Randomized Smoothing: A Theoretical Analysis [74.85187027051879]
  決定境界を複数の雑音分布で探索することにより,任意の精度で最適な証明を近似できることを示す。 この結果は、分類器固有の認証に関するさらなる研究を後押しし、ランダム化された平滑化が依然として調査に値することを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:48:54Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。