論文の概要: A Study on FGSM Adversarial Training for Neural Retrieval

• arxiv url: http://arxiv.org/abs/2301.10576v1
• Date: Wed, 25 Jan 2023 13:28:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 15:10:22.779963
• Title: A Study on FGSM Adversarial Training for Neural Retrieval
• Title（参考訳）: ニューラル検索のためのFGSM逆行訓練に関する研究
• Authors: Simon Lupart and St\'ephane Clinchant
• Abstract要約: ニューラル検索モデルは、項ベースの手法と比較して、ここ数年で顕著な効果を得た。 しかし、これらのモデルは、タイプミスや配布シフトに直面したり、悪意のある攻撃に対して脆弱である可能性がある。 我々は,FGSM(Fast Gradient Sign Method)という,最も単純な逆行訓練手法の1つが,第1段階のローダの堅牢性と有効性を向上させることができることを示した。
• 参考スコア（独自算出の注目度）: 3.2634122554914
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural retrieval models have acquired significant effectiveness gains over the last few years compared to term-based methods. Nevertheless, those models may be brittle when faced to typos, distribution shifts or vulnerable to malicious attacks. For instance, several recent papers demonstrated that such variations severely impacted models performances, and then tried to train more resilient models. Usual approaches include synonyms replacements or typos injections -- as data-augmentation -- and the use of more robust tokenizers (characterBERT, BPE-dropout). To further complement the literature, we investigate in this paper adversarial training as another possible solution to this robustness issue. Our comparison includes the two main families of BERT-based neural retrievers, i.e. dense and sparse, with and without distillation techniques. We then demonstrate that one of the most simple adversarial training techniques -- the Fast Gradient Sign Method (FGSM) -- can improve first stage rankers robustness and effectiveness. In particular, FGSM increases models performances on both in-domain and out-of-domain distributions, and also on queries with typos, for multiple neural retrievers.
• Abstract（参考訳）: ニューラル検索モデルは、項ベースの手法と比較して、ここ数年で顕著な効果を得た。 それでも、これらのモデルは、タイプミスや配布シフトに直面したり、悪意のある攻撃に対して脆弱である可能性がある。 例えば、最近のいくつかの論文では、このようなバリエーションがモデルのパフォーマンスに重大な影響を与え、さらに弾力性のあるモデルをトレーニングしようとした。 一般的なアプローチとしては、データ提供としてのシノニム置換やタイプポインジェクション、より堅牢なトークン化(characterbert、bpe-dropout)の使用などがある。 この文献をさらに補完するため,本論文では,この頑健性問題に対する別の解決策として,敵対的訓練について検討する。 我々の比較対象は、BERTをベースとした2つのニューラルレトリバー、すなわち、蒸留技術と非蒸留技術による密度とスパースである。 そして、最も単純な敵対的訓練手法であるfast gradient sign method(fgsm)の1つが、第1段階のランチャーの堅牢性と有効性を向上できることを実証する。 特に、FGSMは、複数のニューラルレトリバーに対して、ドメイン内およびドメイン外の両方でのモデル性能を向上する。

関連論文リスト

• Depression detection in social media posts using transformer-based models and auxiliary features [6.390468088226495]
  ソーシャルメディア投稿における抑うつの検出は、メンタルヘルス問題の増加により重要である。 従来の機械学習アルゴリズムは複雑なテキストパターンのキャプチャに失敗することが多く、抑うつを識別する効果を制限している。 本研究では,メタデータと言語マーカーを組み合わせたトランスフォーマーモデルを利用したニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-09-30T07:53:39Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Advancing Adversarial Robustness Through Adversarial Logit Update [10.041289551532804]
  敵の訓練と敵の浄化は最も広く認知されている防衛戦略の一つである。 そこで本稿では,新たな原則であるALU(Adversarial Logit Update)を提案する。 本手法は,幅広い敵攻撃に対する最先端手法と比較して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-08-29T07:13:31Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder [18.375585982984845]
  我々は,モデルの訓練過程において,勾配に基づく敵攻撃を防御するモデルの能力の向上に焦点をあてる。 本稿では, CARL と RAR の2つの新しい対戦訓練手法を提案する。 実験により,提案した2つの手法は,テキスト分類データセットにおいて高いベースラインを達成していることが示された。
  論文  参考訳（メタデータ） (2021-09-14T09:08:58Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。