論文の概要: IM-BERT: Enhancing Robustness of BERT through the Implicit Euler Method

• arxiv url: http://arxiv.org/abs/2505.06889v1
• Date: Sun, 11 May 2025 07:54:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.093745
• Title: IM-BERT: Enhancing Robustness of BERT through the Implicit Euler Method
• Title（参考訳）: IM-BERT: Inlicit Euler法によるBERTのロバスト性向上
• Authors: Mihyeon Kim, Juhyoung Park, Youngbin Kim,
• Abstract要約: IM-BERTは正規微分方程式(ODE)の解である BERT層を組み込んだ数値的に堅牢なIM接続を導入する。 オリジナルのBERTと比較して、IM-BERTはAdvGLUEデータセットの約8.3%pのパフォーマンス改善を示している。
• 参考スコア（独自算出の注目度）: 6.660834045805309
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained Language Models (PLMs) have achieved remarkable performance on diverse NLP tasks through pre-training and fine-tuning. However, fine-tuning the model with a large number of parameters on limited downstream datasets often leads to vulnerability to adversarial attacks, causing overfitting of the model on standard datasets. To address these issues, we propose IM-BERT from the perspective of a dynamic system by conceptualizing a layer of BERT as a solution of Ordinary Differential Equations (ODEs). Under the situation of initial value perturbation, we analyze the numerical stability of two main numerical ODE solvers: the explicit and implicit Euler approaches. Based on these analyses, we introduce a numerically robust IM-connection incorporating BERT's layers. This strategy enhances the robustness of PLMs against adversarial attacks, even in low-resource scenarios, without introducing additional parameters or adversarial training strategies. Experimental results on the adversarial GLUE (AdvGLUE) dataset validate the robustness of IM-BERT under various conditions. Compared to the original BERT, IM-BERT exhibits a performance improvement of approximately 8.3\%p on the AdvGLUE dataset. Furthermore, in low-resource scenarios, IM-BERT outperforms BERT by achieving 5.9\%p higher accuracy.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、事前トレーニングと微調整によって、多様なNLPタスクにおいて顕著なパフォーマンスを実現している。 しかし、限られた下流データセットに多数のパラメータでモデルを微調整すると、しばしば敵攻撃の脆弱性が発生し、標準データセットにモデルが過度に適合する。 これらの問題に対処するため,通常微分方程式(ODE)の解としてBERTの層を概念化し,動的システムの観点からIM-BERTを提案する。 初期値摂動の状況下では、明示的および暗黙的オイラーアプローチという2つの主数値ODEソルバの数値安定性を解析する。 これらの分析に基づいて,BERT層を組み込んだ数値的に堅牢なIM接続を導入する。 この戦略は、低リソースシナリオであっても、追加のパラメータや敵の訓練戦略を導入することなく、PLMの敵攻撃に対する堅牢性を高める。 敵GLUE(AdvGLUE)データセットの実験結果から, 各種条件下でのIM-BERTのロバスト性を検証した。 オリジナルのBERTと比較して、IM-BERTはAdvGLUEデータセットの約8.3\%pのパフォーマンス改善を示している。 さらに、低リソースのシナリオでは、IM-BERTは5.9\%pの精度でBERTを上回っている。

関連論文リスト

• R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning [97.49610356913874]
  視覚言語モデル(VLM)のためのロバストテスト時プロンプトチューニング(R-TPT)を提案する。 R-TPTは、推論段階における敵攻撃の影響を緩和する。 プラグアンドプレイの信頼性に基づく重み付きアンサンブル戦略を導入し,防御強化を図る。
  論文  参考訳（メタデータ） (2025-04-15T13:49:31Z)
• TWSSenti: A Novel Hybrid Framework for Topic-Wise Sentiment Analysis on Social Media Using Transformer Models [0.0]
  本研究では,感情分類の精度と頑健性を改善するために,トランスフォーマーモデルを組み合わせたハイブリッドフレームワークについて検討する。 このフレームワークは、ノイズの多いデータ、コンテキストのあいまいさ、さまざまなデータセット間の一般化といった課題に対処する。 この研究は、ソーシャルメディアのモニタリング、顧客感情分析、世論の追跡など、現実世界のタスクへの適用性を強調している。
  論文  参考訳（メタデータ） (2025-04-14T05:44:11Z)
• Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution [66.11004226578771]
  既存の堅牢なベンチマークデータセットには2つの重要な制限がある。 単一の情報抽出(IE)タスクに対して、限られた範囲の摂動しか生成しない。 LLM(Large Language Models)の強力な生成機能を考慮すると、ruIE-Benchと呼ばれるRobust UIEのための新しいベンチマークデータセットを導入する。 データのうち、 textbf15% しかトレーニングしない場合、3つの IE タスクに対して、平均 textbf7.5% の相対的なパフォーマンス改善につながることを示す。
  論文  参考訳（メタデータ） (2025-03-05T05:39:29Z)
• Enhancing Adversarial Text Attacks on BERT Models with Projected Gradient Descent [0.0]
  ディープラーニングモデルに対するアドリアック攻撃は、自然言語処理システムのセキュリティと信頼性に対する大きな脅威である。 本稿では,BERT-Attackフレームワークを改良し,PGD(Projected Gradient Descent)を統合し,その有効性と堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:07:29Z)
• A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
  本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。 提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。 適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
  論文  参考訳（メタデータ） (2023-12-12T19:23:54Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Bi-Drop: Enhancing Fine-tuning Generalization via Synchronous sub-net Estimation and Optimization [58.90989478049686]
  Bi-Dropは、様々なサブネットからの勾配を使ってモデルパラメータを選択的に更新する微調整戦略である。 GLUEベンチマークの実験は、Bi-Dropが従来の微調整方法よりも一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-24T06:09:26Z)
• Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models [51.46732511844122]
  強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。 VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。 本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
  論文  参考訳（メタデータ） (2021-09-13T09:15:28Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。