論文の概要: S-GBT: Smooth Growth Bound Tensor for Certified Robustness Against Word Substitution Attacks in NLP

• arxiv url: http://arxiv.org/abs/2606.13439v1
• Date: Thu, 11 Jun 2026 15:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.865873
• Title: S-GBT: Smooth Growth Bound Tensor for Certified Robustness Against Word Substitution Attacks in NLP
• Title（参考訳）: S-GBT:NLPにおける単語置換攻撃に対するロバスト性証明のための平滑成長境界テンソル
• Authors: Mohammed Bouri, Mohammed Erradi, Adnane Saoud,
• Abstract要約: 本稿では,ヘッセン元を単位とする2次法であるSmooth Growth Bound (S-GBT)を紹介する。 これらの境界を最小化するために、トレーニング中に正規化項が追加される。 その結果、第1次と第2次を組み合わせることで、認証された堅牢な精度が最大23.4%向上することが示された。
• 参考スコア（独自算出の注目度）: 4.842918836091873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent progress in Natural Language Processing (NLP), models remain vulnerable to word substitution attacks. Most existing defenses focus on first order sensitivity and measure how much the output changes when the input is slightly perturbed. However, they ignore how this sensitivity evolves, which is described by curvature. When gradients vary sharply, models can still fail. This paper introduces the Smooth Growth Bound Tensor (S-GBT), a second order method that bounds the Hessian element-wise, for which we provide formal theoretical proofs on the resulting robustness bounds. A regularization term is added during training to minimize these bounds. This yields tighter certified robustness against word substitution attacks. The change in the output under word substitution is bounded by both a linear term and a quadratic term. S-GBT is derived for two architectures: Long Short-Term Memory (LSTM) and Convolutional Neural Networks (CNN). The method is integrated directly into the training objective. Its effectiveness is evaluated on multiple benchmark datasets. The results show that combining first and second order regularization improves certified robust accuracy by up to 23.4% compared to prior methods, while clean accuracy remains competitive. These findings indicate that controlling both the gradient and its variation is a promising direction for building more robust models.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩にもかかわらず、モデルは単語置換攻撃に弱いままである。 既存の防御は、入力がわずかに乱れたときに出力がどれだけ変化するかを測定することに集中している。 しかし、彼らはこの感度がどのように進化するかを無視し、曲率によって説明される。 勾配が急激に変化すると、モデルはまだ失敗する可能性がある。 本稿では、ヘッセン元を有界な2次法であるS-GBT(Smooth Growth Bound Tensor)を紹介し、その結果のロバスト性境界に関する公式な理論的証明を与える。 これらの境界を最小化するために、トレーニング中に正規化項が追加される。 これにより、単語置換攻撃に対するより厳格な堅牢性が得られる。 単語置換による出力の変化は、線形項と二次項の両方によって境界づけられる。 S-GBTはLong Short-Term Memory (LSTM)とConvolutional Neural Networks (CNN)の2つのアーキテクチャから派生した。 この方法は訓練目的に直接組み込まれている。 その効果は、複数のベンチマークデータセットで評価される。 その結果、第1位と第2位の正則化を組み合わせることで、従来の方法に比べて23.4%の信頼性が向上する一方、クリーンな精度は競争力を維持していることがわかった。 これらの結果は,より堅牢なモデルを構築する上で,勾配と変動の制御が有望な方向であることを示唆している。

関連論文リスト

• BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
  正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。 本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:38:25Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Bounded Hyperbolic Tangent: A Stable and Efficient Alternative to Pre-Layer Normalization in Large Language Models [20.802982614533615]
  我々は,Pre-LNのドロップイン代替として,BHyT(Bunded Hyperbolic Tanh)を提案する。 BHyTは、非飽和領域内での活性化を維持するために、明示的でデータ駆動の入力バウンディングと接な非線形性を結合する。 RMSNormに比べて平均15.8%高速なトレーニングと平均4.2%高いトークン生成スループットを実現している。
  論文  参考訳（メタデータ） (2025-12-26T06:22:13Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks [39.51297217854375]
  ランダムな平滑化に基づく自然言語処理(NLP)のための信頼性の高いロバストネスフレームワークであるText-CRSを提案する。 テキストCRSは、4つの異なる単語レベルの対数操作すべてに対処でき、精度が大幅に向上することを示す。 また,同義語置換攻撃に対する最先端認証よりも,単語レベルの4つの操作の精度と半径に関する最初のベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-07-31T13:08:16Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。