論文の概要: Precise Verification of Transformers through ReLU-Catalyzed Abstraction Refinement

• arxiv url: http://arxiv.org/abs/2605.14294v1
• Date: Thu, 14 May 2026 02:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.592834
• Title: Precise Verification of Transformers through ReLU-Catalyzed Abstraction Refinement
• Title（参考訳）: ReLU触媒による抽象微細化による変圧器の精密検証
• Authors: Hengjie Liu, Zhenya Zhang, Jianjun Zhao,
• Abstract要約: 精度の向上を実現するための変圧器検証手法を提案する。 我々のアプローチの核心はReLUの新たな使用法であり、それによってドット製品の正確だが非線形なバウンドを表現する。 我々は2つの古典的アプローチを、ルールベースと最適化ベースという2つのコンテクストに拡張し、その結果、効率的かつ正確な検証のための2つの新しいフレームワークを生み出した。
• 参考スコア（独自算出の注目度）: 2.7819473614843546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Formal verification of transformers has become increasingly important due to their widespread deployment in safety-critical applications. Compared to classic neural networks, the inferences of transformers involve highly complex computations, such as dot products in self-attention layers, rendering their verification extremely difficult. Existing approaches explored over-approximation methods by constructing convex constraints to bound the output ranges of transformers, which can achieve high efficiency. However, they may sacrifice verification precision, and consequently introduce significant approximation error that leads to frequent occurrences of false alarms. In this paper, we propose a transformer verification approach that can achieve improved precision. At the core of our approach is a novel usage of ReLU, by which we represent a precise but non-linear bound for dot products such that we can further exploit the rich body of literature for convex relaxation of ReLU to derive precise bounds. We extend two classic approaches to the context of transformers, a rule-based one and an optimization-based one, resulting in two new frameworks for efficient and precise verification. We evaluate our approaches on different model architectures and robustness properties derived from two datasets about sentiment analysis, and compare with the state-of-the-art baseline approach. Compared to the baseline, our approach can achieve significant precision improvement for most of the verification tasks with acceptable compromise of efficiency, which demonstrates the effectiveness of our approach.
• Abstract（参考訳）: トランスの形式的検証は、安全クリティカルなアプリケーションに広く展開されているため、ますます重要になっている。 古典的ニューラルネットワークと比較して、変圧器の推論は、自己アテンション層におけるドット生成など、非常に複雑な計算を伴い、検証は非常に困難である。 既存の手法では、コンベックス制約を構築して変換器の出力範囲を制限し、高い効率を達成する方法が検討されている。 しかし、検証精度を犠牲にし、結果としてかなりの近似誤差が生じ、誤報が頻発する可能性がある。 本稿では,改良された精度を実現するための変圧器検証手法を提案する。 我々のアプローチの核となるのは、ReLUの新たな使用法であり、これは、ReLUの凸緩和のためにリッチな文学体をさらに活用して正確な境界を導出できるように、ドット積に対して正確だが非線形な境界を表すものである。 我々は2つの古典的アプローチを、ルールベースと最適化ベースという2つのコンテクストに拡張し、その結果、効率的かつ正確な検証のための2つの新しいフレームワークを生み出した。 我々は、感情分析に関する2つのデータセットから得られた異なるモデルアーキテクチャとロバスト性に関するアプローチを評価し、最先端のベースラインアプローチと比較した。 ベースラインと比較して,本手法は効率の妥協を許容し,検証作業の大部分に対して大幅な精度向上を実現し,本手法の有効性を実証する。

関連論文リスト

• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Transformers Handle Endogeneity in In-Context Linear Regression [34.458004744956334]
  インストゥルメンタル変数(IV)を用いて内在性を効果的に扱うメカニズムをトランスフォーマーが本質的に持っていることを示す。 提案手法では,事前学習損失の最小化が最小限の余剰損失を達成できることを示す理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-10-02T06:21:04Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。