論文の概要: Pretrained Transformers Do not Always Improve Robustness
- arxiv url: http://arxiv.org/abs/2210.07663v1
- Date: Fri, 14 Oct 2022 09:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:04:40.889769
- Title: Pretrained Transformers Do not Always Improve Robustness
- Title（参考訳）: 事前トレーニングされたトランスフォーマーはロバストさを常に改善しない
- Authors: Swaroop Mishra, Bhavdeep Singh Sachdeva, Chitta Baral
- Abstract要約: PTはノイズの多いデータに対して従来のモデルよりもロバストな表現を提供していないことを示す。
OODの一般化を改善するために, PTを逆フィルタリング機構で拡張する。
しかし,一般化の増大は必ずしもロバスト性を高めるものではない。
- 参考スコア（独自算出の注目度）: 23.227505403565903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained Transformers (PT) have been shown to improve Out of Distribution
(OOD) robustness than traditional models such as Bag of Words (BOW), LSTMs,
Convolutional Neural Networks (CNN) powered by Word2Vec and Glove embeddings.
How does the robustness comparison hold in a real world setting where some part
of the dataset can be noisy? Do PT also provide more robust representation than
traditional models on exposure to noisy data? We perform a comparative study on
10 models and find an empirical evidence that PT provide less robust
representation than traditional models on exposure to noisy data. We
investigate further and augment PT with an adversarial filtering (AF) mechanism
that has been shown to improve OOD generalization. However, increase in
generalization does not necessarily increase robustness, as we find that noisy
data fools the AF method powered by PT.
- Abstract（参考訳）: 事前トレーニングされたトランスフォーマー(PT)は、Word2VecとGloveを組み込んだBag of Words(BOW)、LSTMs、Convolutional Neural Networks(CNN)といった従来のモデルよりもOOD(Out of Distribution)の堅牢性を改善することが示されている。
データセットの一部が騒がれる現実の環境では、ロバスト性の比較はどのように行われますか?
ptは、ノイズデータへの露出に関して、従来のモデルよりも堅牢な表現を提供するか?
我々は10モデルの比較研究を行い、PTがノイズデータに曝露する従来のモデルよりもロバスト表現が少ないという実証的な証拠を見出した。
我々は,OODの一般化を改善するために,対向フィルタリング(AF)機構を応用したPTのさらなる拡張について検討した。
しかし,一般化の増大は必ずしもロバスト性を高めるものではない。
関連論文リスト
- Robust VAEs via Generating Process of Noise Augmented Data [9.366139389037489]
本稿では,原データと雑音増大データ間の潜時空間のばらつきを規則化し,ロバスト性を高める新しい枠組みを提案する。
実験により,ロバスト拡張変分オートエンコーダ(RAVEN)と呼ばれるこの手法は,対向入力に対して優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2024-07-26T09:55:34Z) - PUMA: margin-based data pruning [51.12154122266251]
モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。
我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。
PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2024-05-10T08:02:20Z) - Did Translation Models Get More Robust Without Anyone Even Noticing? [11.342084260983668]
マルチリンガルMTモデルと大規模言語モデル(LLM)は,従来のモデルよりも多くの種類のノイズに対してはるかに堅牢であることを示す。
ソーシャルメディアの翻訳実験には同様の傾向があり、LLMはソーシャルメディアのテキストに対してより堅牢である。
論文 参考訳（メタデータ） (2024-03-06T18:33:51Z) - Fourier-basis Functions to Bridge Augmentation Gap: Rethinking Frequency
Augmentation in Image Classification [3.129187821625805]
AFA(Auxiliary Fourier-Basis Augmentation)は、周波数領域の増大を狙った技法であり、視覚的な拡張によって残された拡張ギャップを埋めるものである。
以上の結果から,AFAは,一般的な汚職に対するモデルの堅牢性,OODの一般化,モデルの性能の整合性,摂動の増大に対するモデルの性能の整合性,モデルの標準性能に対する無視的欠陥に寄与することが示唆された。
論文 参考訳（メタデータ） (2024-03-04T11:30:02Z) - A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models [11.938237087895649]
既存の研究によると、微調整されたテキスト変換モデルは最先端の予測性能を実現するが、敵対的なテキスト摂動にも弱い。
本稿では,トレーニングデータとモデルロバスト性との間にも強い相関関係があることを証明したい。
様々な入力微調整コーパス特性を表す13の異なる特徴を抽出し,それらを用いて微調整モデルの対角的堅牢性を予測する。
論文 参考訳（メタデータ） (2024-02-18T05:58:25Z) - Certified Adversarial Defenses Meet Out-of-Distribution Corruptions:
Benchmarking Robustness and Simple Baselines [65.0803400763215]
この研究は、最先端のロバストモデルがアウト・オブ・ディストリビューションデータに遭遇した場合、敵のロバスト性がどのように変化を保証しているかを批判的に検証する。
本稿では,トレーニングデータのスペクトルカバレッジを改善するために,新たなデータ拡張方式であるFourierMixを提案する。
また,FourierMixの拡張により,様々なOODベンチマークにおいて,より優れたロバスト性保証を実現することが可能となる。
論文 参考訳（メタデータ） (2021-12-01T17:11:22Z) - Enhancing Adversarial Robustness via Test-time Transformation Ensembling [51.51139269928358]
テスト時間変換を組み込んだモデルを組み込むことが,敵攻撃に対する信頼性の高い防御手段として有効であることを示す。
TTEは、再トレーニングを必要とせずに、様々な強力な攻撃に対するモデルロバスト性を一貫して改善することを示します。
論文 参考訳（メタデータ） (2021-07-29T15:32:35Z) - On the Adversarial Robustness of Visual Transformers [129.29523847765952]
本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。
さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
論文 参考訳（メタデータ） (2021-03-29T14:48:24Z) - From Sound Representation to Model Robustness [82.21746840893658]
本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-27T17:30:49Z) - Pretrained Transformers Improve Out-of-Distribution Robustness [72.38747394482247]
7つのNLPデータセットのアウト・オブ・ディストリビューションの一般化を測定する。
本研究では,事前学習したトランスフォーマーの性能低下が著しく小さいことを示す。
どちらがロバスト性に影響を与えるかを調べ、より大きなモデルが必ずしもロバストであるとは限らないことを発見した。
論文 参考訳（メタデータ） (2020-04-13T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。