Fugu-MT 論文翻訳(概要): Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach

論文の概要: Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach

arxiv url: http://arxiv.org/abs/2507.10330v1
Date: Mon, 14 Jul 2025 14:38:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:25.162902
Title: Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach
Title（参考訳）: 成長境界行列法によるNLPにおける単語置換攻撃に対するブリッジロバスト性と一般化
Authors: Mohammed Bouri, Adnane Saoud,
Abstract要約: 成長境界行列(GBM)に基づく新しい正規化手法を導入し,NLPモデルの堅牢性を向上させる。我々は、長短期記憶(LSTM)、状態空間モデル(S4)、畳み込みニューラルネットワーク(CNN)の3つのアーキテクチャにおけるGBMの計算に重点を置いている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite advancements in Natural Language Processing (NLP), models remain vulnerable to adversarial attacks, such as synonym substitutions. While prior work has focused on improving robustness for feed-forward and convolutional architectures, the robustness of recurrent networks and modern state space models (SSMs), such as S4, remains understudied. These architectures pose unique challenges due to their sequential processing and complex parameter dynamics. In this paper, we introduce a novel regularization technique based on Growth Bound Matrices (GBM) to improve NLP model robustness by reducing the impact of input perturbations on model outputs. We focus on computing the GBM for three architectures: Long Short-Term Memory (LSTM), State Space models (S4), and Convolutional Neural Networks (CNN). Our method aims to (1) enhance resilience against word substitution attacks, (2) improve generalization on clean text, and (3) providing the first systematic analysis of SSM (S4) robustness. Extensive experiments across multiple architectures and benchmark datasets demonstrate that our method improves adversarial robustness by up to 8.8% over existing baselines. These results highlight the effectiveness of our approach, outperforming several state-of-the-art methods in adversarial defense. Codes are available at https://github.com/BouriMohammed/GBM
Abstract（参考訳）: 自然言語処理(NLP)の進歩にもかかわらず、モデルはシノニム置換のような敵の攻撃に弱いままである。以前の研究はフィードフォワードおよび畳み込みアーキテクチャの堅牢性の改善に重点を置いていたが、S4のようなリカレントネットワークと現代の状態空間モデル(SSM)の堅牢性はいまだ検討されていない。これらのアーキテクチャは、シーケンシャルな処理と複雑なパラメータのダイナミクスのために、ユニークな課題を生んでいる。本稿では,モデル出力に対する入力摂動の影響を低減し,NLPモデルのロバスト性を改善するために,成長境界行列(GBM)に基づく新たな正規化手法を提案する。我々は,LSTM(Long Short-Term Memory),S4(State Space Model),CNN(Convolutional Neural Networks)の3つのアーキテクチャにおいて,GBMの計算に重点を置いている。本手法は,(1)単語置換攻撃に対するレジリエンスの向上,(2)クリーンテキストの一般化の向上,(3)SSM(S4)ロバスト性の最初の体系的解析を提供することを目的としている。複数のアーキテクチャやベンチマークデータセットにまたがる大規模な実験により、我々の手法は既存のベースラインよりも最大8.8%高い敵のロバスト性を向上することを示した。これらの結果は,敵防衛における最先端の手法よりも優れており,本手法の有効性を浮き彫りにしている。コードはhttps://github.com/BouriMohammed/GBMで入手できる。

関連論文リスト

StruMamba3D: Exploring Structural Mamba for Self-supervised Point Cloud Representation Learning [31.585380521480868]
自己教師付きポイントクラウド表現学習のための新しいパラダイムであるStruMamba3Dを提案する。空間状態を設計し,それらをプロキシとして用いて点間の空間的依存関係を保存する。提案手法は,ModelNet40上でのSOTA 95.1%の精度と,投票戦略を使わずに最も難しい分割ScanObjectNN上での92.75%の精度を実現する。
論文参考訳（メタデータ） (2025-06-26T17:58:05Z)
Defending Deep Neural Networks against Backdoor Attacks via Module Switching [15.979018992591032]
ディープニューラルネットワーク(DNN)のパラメータの指数関数的増加は、独立トレーニングのコストを大幅に高めた。オープンソースモデルは、バックドア攻撃のような悪意のある脅威に対してより脆弱である。本稿では,モデルの伝搬経路内で,このような突発的相関を破るモジュールスイッチング手法を提案する。
論文参考訳（メタデータ） (2025-04-08T11:01:07Z)
Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文参考訳（メタデータ） (2025-03-31T10:16:03Z)
Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization [2.502393972789905]
本稿では,LMの一般化とロバスト性の両方を均一に向上する二段階最適化フレームワークを提案する。提案手法は,従来の手法と比較して,LMの一般化とロバスト性を大幅に向上させることを示す。
論文参考訳（メタデータ） (2025-03-19T13:50:36Z)
Towards Adversarially Robust Deep Metric Learning [0.8702432681310401]
ディープニューラルネットワークは敵の攻撃を受けやすいため、敵の例によって簡単に騙される可能性がある。既存の作業は、DMLモデルの堅牢性を徹底的に検査することができない。我々は,アンサンブル学習と対人訓練を利用する新しい防衛法である「アンサンブル・アディバーショナル・トレーニング(EAT)」を提案する。
論文参考訳（メタデータ） (2025-01-02T03:15:25Z)
A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文参考訳（メタデータ） (2024-05-31T21:47:05Z)
Tiny Refinements Elicit Resilience: Toward Efficient Prefix-Model Against LLM Red-Teaming [37.32997502058661]
本稿では,数個のトークンで入力プロンプトを再構築するプラグイン・アンド・プレイプレフィックスモジュールとしてtextbfsentinel モデルを提案する。センチネルモデルは、微調整された大きなターゲットモデルに対するテキストパラメータ非効率性とテキスト制限モデルアクセシビリティを自然に克服する。テキスト・ツー・テキスト・ツー・イメージを用いた実験により,有害な出力を緩和する手法の有効性が示された。
論文参考訳（メタデータ） (2024-05-21T08:57:44Z)
RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文参考訳（メタデータ） (2024-03-19T07:25:02Z)
Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
論文参考訳（メタデータ） (2024-03-07T19:02:13Z)
Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。 Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
論文参考訳（メタデータ） (2022-07-04T16:35:58Z)
Building Robust Ensembles via Margin Boosting [98.56381714748096]
敵のロバスト性においては、単一のモデルは通常、全ての敵の攻撃に対して十分な力を持っていない。我々は最大利得のアンサンブルを学習するアルゴリズムを開発した。提案アルゴリズムは,既存のアンサンブル技術に勝るだけでなく,エンド・ツー・エンドで訓練された大規模モデルにも勝ることを示す。
論文参考訳（メタデータ） (2022-06-07T14:55:58Z)
Accurate and Lightweight Image Super-Resolution with Model-Guided Deep Unfolding Network [63.69237156340457]
我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。 MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。 RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
論文参考訳（メタデータ） (2020-09-14T08:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。