論文の概要: Precise Verification of Transformers through ReLU-Catalyzed Abstraction Refinement
- arxiv url: http://arxiv.org/abs/2605.14294v1
- Date: Thu, 14 May 2026 02:55:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.592834
- Title: Precise Verification of Transformers through ReLU-Catalyzed Abstraction Refinement
- Title（参考訳）: ReLU触媒による抽象微細化による変圧器の精密検証
- Abstract要約: 精度の向上を実現するための変圧器検証手法を提案する。
我々のアプローチの核心はReLUの新たな使用法であり、それによってドット製品の正確だが非線形なバウンドを表現する。
我々は2つの古典的アプローチを、ルールベースと最適化ベースという2つのコンテクストに拡張し、その結果、効率的かつ正確な検証のための2つの新しいフレームワークを生み出した。
- 参考スコア（独自算出の注目度）: 2.7819473614843546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Formal verification of transformers has become increasingly important due to their widespread deployment in safety-critical applications. Compared to classic neural networks, the inferences of transformers involve highly complex computations, such as dot products in self-attention layers, rendering their verification extremely difficult. Existing approaches explored over-approximation methods by constructing convex constraints to bound the output ranges of transformers, which can achieve high efficiency. However, they may sacrifice verification precision, and consequently introduce significant approximation error that leads to frequent occurrences of false alarms. In this paper, we propose a transformer verification approach that can achieve improved precision. At the core of our approach is a novel usage of ReLU, by which we represent a precise but non-linear bound for dot products such that we can further exploit the rich body of literature for convex relaxation of ReLU to derive precise bounds. We extend two classic approaches to the context of transformers, a rule-based one and an optimization-based one, resulting in two new frameworks for efficient and precise verification. We evaluate our approaches on different model architectures and robustness properties derived from two datasets about sentiment analysis, and compare with the state-of-the-art baseline approach. Compared to the baseline, our approach can achieve significant precision improvement for most of the verification tasks with acceptable compromise of efficiency, which demonstrates the effectiveness of our approach.
- Abstract（参考訳）: トランスの形式的検証は、安全クリティカルなアプリケーションに広く展開されているため、ますます重要になっている。
古典的ニューラルネットワークと比較して、変圧器の推論は、自己アテンション層におけるドット生成など、非常に複雑な計算を伴い、検証は非常に困難である。
既存の手法では、コンベックス制約を構築して変換器の出力範囲を制限し、高い効率を達成する方法が検討されている。
しかし、検証精度を犠牲にし、結果としてかなりの近似誤差が生じ、誤報が頻発する可能性がある。
本稿では,改良された精度を実現するための変圧器検証手法を提案する。
我々のアプローチの核となるのは、ReLUの新たな使用法であり、これは、ReLUの凸緩和のためにリッチな文学体をさらに活用して正確な境界を導出できるように、ドット積に対して正確だが非線形な境界を表すものである。
我々は2つの古典的アプローチを、ルールベースと最適化ベースという2つのコンテクストに拡張し、その結果、効率的かつ正確な検証のための2つの新しいフレームワークを生み出した。
我々は、感情分析に関する2つのデータセットから得られた異なるモデルアーキテクチャとロバスト性に関するアプローチを評価し、最先端のベースラインアプローチと比較した。
ベースラインと比較して,本手法は効率の妥協を許容し,検証作業の大部分に対して大幅な精度向上を実現し,本手法の有効性を実証する。
関連論文リスト
- Dual Path Attribution: Efficient Attribution for SwiGLU-Transformers through Layer-Wise Target Propagation [5.186807923082922]
本稿では,凍結変圧器上の情報の流れを,一方の前方および一方の後方通過で忠実に追跡する新しいフレームワークであるDual Path Attribution(DPA)を紹介する。
DPAは、既存のベースラインと比較して、最先端の忠実さと前例のない効率を達成する。
論文 参考訳（メタデータ） (2026-03-20T08:28:24Z) - Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。
VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。
VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
論文 参考訳（メタデータ） (2026-03-18T01:25:08Z) - Verifiable Reasoning for LLM-based Generative Recommendation [106.7765000777685]
大規模言語モデル(LLM)における推論は、最近、生成的レコメンデーションの強化に強い可能性を示している。
本稿では,信頼性の高いフィードバックを提供するために,検証と推論をインターリーブする新しいTextbftextitreason-verify-recommendパラダイムを提案する。
4つの実世界のデータセットの実験は、VRecが効率を損なうことなく、推奨の有効性とスケーラビリティを大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-03-08T16:55:45Z) - Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。
自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。
本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
論文 参考訳（メタデータ） (2025-03-02T01:56:35Z) - Transformers Handle Endogeneity in In-Context Linear Regression [34.458004744956334]
インストゥルメンタル変数(IV)を用いて内在性を効果的に扱うメカニズムをトランスフォーマーが本質的に持っていることを示す。
提案手法では,事前学習損失の最小化が最小限の余剰損失を達成できることを示す理論的保証を提供する。
論文 参考訳（メタデータ） (2024-10-02T06:21:04Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。
これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
論文 参考訳（メタデータ） (2022-05-25T19:01:54Z) - Transformer Uncertainty Estimation with Hierarchical Stochastic
Attention [8.95459272947319]
本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。
これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。
我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
論文 参考訳（メタデータ） (2021-12-27T16:43:31Z) - Robustness Verification for Transformers [165.25112192811764]
我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。
提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。
これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
論文 参考訳（メタデータ） (2020-02-16T17:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。