Fugu-MT 論文翻訳(概要): Enhance the Visual Representation via Discrete Adversarial Training

論文の概要: Enhance the Visual Representation via Discrete Adversarial Training

arxiv url: http://arxiv.org/abs/2209.07735v1
Date: Fri, 16 Sep 2022 06:25:06 GMT
ステータス: 処理完了
システム内更新日: 2022-09-19 12:42:36.578452
Title: Enhance the Visual Representation via Discrete Adversarial Training
Title（参考訳）: 離散的敵意訓練による視覚表現の強化
Authors: Xiaofeng Mao, Yuefeng Chen, Ranjie Duan, Yao Zhu, Gege Qi, Shaokai Ye, Xiaodan Li, Rong Zhang, Hui Xue
Abstract要約: 敵の訓練(AT)は、敵の例に対抗して最も効果的なアプローチの1つとして一般的に受け入れられている。本稿では、画像データを個別のテキストのような入力、すなわち視覚的な単語に書き換えるための離散的逆行訓練(DAT)を提案する。 DATは視覚表現を強化するためのプラグイン・アンド・プレイ技術として、複数のタスクにおいて大幅な改善を実現している。
参考スコア（独自算出の注目度）: 24.3040211834614
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial Training (AT), which is commonly accepted as one of the most effective approaches defending against adversarial examples, can largely harm the standard performance, thus has limited usefulness on industrial-scale production and applications. Surprisingly, this phenomenon is totally opposite in Natural Language Processing (NLP) task, where AT can even benefit for generalization. We notice the merit of AT in NLP tasks could derive from the discrete and symbolic input space. For borrowing the advantage from NLP-style AT, we propose Discrete Adversarial Training (DAT). DAT leverages VQGAN to reform the image data to discrete text-like inputs, i.e. visual words. Then it minimizes the maximal risk on such discrete images with symbolic adversarial perturbations. We further give an explanation from the perspective of distribution to demonstrate the effectiveness of DAT. As a plug-and-play technique for enhancing the visual representation, DAT achieves significant improvement on multiple tasks including image classification, object detection and self-supervised learning. Especially, the model pre-trained with Masked Auto-Encoding (MAE) and fine-tuned by our DAT without extra data can get 31.40 mCE on ImageNet-C and 32.77% top-1 accuracy on Stylized-ImageNet, building the new state-of-the-art. The code will be available at https://github.com/alibaba/easyrobust.
Abstract（参考訳）: 敵の例に対抗して最も効果的なアプローチの1つとして一般的に受け入れられる敵の訓練(AT)は、標準性能に大きなダメージを与える可能性があるため、工業規模の生産と応用に限定的な有用性を有する。驚いたことに、この現象は自然言語処理(NLP)タスクでは全く逆で、ATは一般化の恩恵を受けることができる。 NLPタスクにおけるATのメリットは、離散的かつシンボリックな入力空間から導かれる可能性がある。 NLP型ATの利点を活かすため,DAT(Disdisrete Adversarial Training)を提案する。 DATはVQGANを利用して画像データを個別のテキストのような入力、すなわち視覚的な単語に再構成する。すると、シンボリック逆転摂動を持つ離散像の最大リスクを最小化する。さらに,DATの有効性を示すために,分布の観点からの説明を行う。視覚表現を向上させるためのプラグアンドプレイ技術として、DATは画像分類、オブジェクト検出、自己教師型学習を含む複数のタスクにおいて大幅な改善を実現している。特に、Masked Auto-Encoding (MAE)で事前訓練され、追加データなしでDATによって微調整されたモデルは、ImageNet-Cで31.40 mCE、Stylized-ImageNetで32.77%の精度で、新しい最先端技術を構築することができる。コードはhttps://github.com/alibaba/easyrobustで入手できる。

関連論文リスト

Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
論文参考訳（メタデータ） (2024-05-30T05:53:49Z)
Rejuvenating image-GPT as Strong Visual Representation Learners [28.77567067712619]
本稿では,次のピクセルの予測に自己回帰事前学習を導入する先駆的な研究である画像GPTを強化する。我々は、予測対象を生の画素から意味トークンにシフトし、視覚的内容の高レベルな理解を可能にする。実験では、D-iGPTが視覚表現の強力な学習者として優れていることが示された。
論文参考訳（メタデータ） (2023-12-04T18:59:20Z)
AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models [30.723122000372538]
AnomalyGPTはLarge Vision-Language Models (LVLM)に基づく新しいIADアプローチである我々は、異常な画像をシミュレートし、各画像に対応するテキスト記述を生成することで、トレーニングデータを生成する。 AnomalyGPTは86.1%の精度、画像レベルのAUC94.1%、ピクセルレベルのAUC95.3%の精度で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-08-29T15:02:53Z)
MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。所望のプロパティを統一する単段および単段のMOCAを提案する。我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文参考訳（メタデータ） (2023-07-18T15:46:20Z)
Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文参考訳（メタデータ） (2023-06-12T18:12:19Z)
Improved Visual Fine-tuning with Natural Language Supervision [36.250244364023665]
視覚的事前学習モデルの微調整は、大規模事前学習データからの意味情報を活用することができる。術前訓練した背骨における破折性忘れの問題は、微調整のために広く研究されている。固定テキスト分類器から得られた参照分布を導入し,学習した視覚分類器の正規化を支援する。
論文参考訳（メタデータ） (2023-04-04T03:08:02Z)
Unsupervised Representation Learning from Pre-trained Diffusion Probabilistic Models [83.75414370493289]
拡散確率モデル(DPM)は高品質の画像サンプルを生成する強力な能力を示している。 Diff-AEは自動符号化による表現学習のためのDPMを探索するために提案されている。我々は、既存のトレーニング済みDPMをデコーダに適応させるために、textbfPre-trained textbfAutotextbfEncoding (textbfPDAE)を提案する。
論文参考訳（メタデータ） (2022-12-26T02:37:38Z)
SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
論文参考訳（メタデータ） (2022-07-31T15:07:25Z)
Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文参考訳（メタデータ） (2022-06-07T02:03:06Z)
AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。実験により,低次元空間における画像の表現が可能であることを実証した。多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
論文参考訳（メタデータ） (2021-06-11T09:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。