論文の概要: Going Grayscale: The Road to Understanding and Improving Unlearnable Examples

• arxiv url: http://arxiv.org/abs/2111.13244v1
• Date: Thu, 25 Nov 2021 20:32:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 17:50:28.428498
• Title: Going Grayscale: The Road to Understanding and Improving Unlearnable Examples
• Title（参考訳）: Going Grayscale: 未知の例を理解し改善するための道
• Authors: Zhuoran Liu, Zhengyu Zhao, Alex Kolmus, Tijn Berns, Twan van Laarhoven, Tom Heskes, Martha Larson
• Abstract要約: 近年の研究では、知覚不能な摂動が非学習不可能な例(ULE)に応用できることが示されている。 本稿では,ULE の理解と ULE の改善のために研究者が従うべき道を明らかにする(ULEO )。 我々の貢献は、学習不可能な例の最先端技術であると同時に、さらなる改善を達成するためには、よりよく理解する必要がある彼らの行動の重要な特徴も明らかにしている。
• 参考スコア（独自算出の注目度）: 7.883649075581329
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work has shown that imperceptible perturbations can be applied to craft unlearnable examples (ULEs), i.e. images whose content cannot be used to improve a classifier during training. In this paper, we reveal the road that researchers should follow for understanding ULEs and improving ULEs as they were originally formulated (ULEOs). The paper makes four contributions. First, we show that ULEOs exploit color and, consequently, their effects can be mitigated by simple grayscale pre-filtering, without resorting to adversarial training. Second, we propose an extension to ULEOs, which is called ULEO-GrayAugs, that forces the generated ULEs away from channel-wise color perturbations by making use of grayscale knowledge and data augmentations during optimization. Third, we show that ULEOs generated using Multi-Layer Perceptrons (MLPs) are effective in the case of complex Convolutional Neural Network (CNN) classifiers, suggesting that CNNs suffer specific vulnerability to ULEs. Fourth, we demonstrate that when a classifier is trained on ULEOs, adversarial training will prevent a drop in accuracy measured both on clean images and on adversarial images. Taken together, our contributions represent a substantial advance in the state of art of unlearnable examples, but also reveal important characteristics of their behavior that must be better understood in order to achieve further improvements.
• Abstract（参考訳）: 近年の研究では、知覚不能な摂動が、学習中に分類器を改善するのに使用できない画像(ULE)の製作に応用できることが示されている。 本稿では,ULEの理解とULEの改良のために研究者が従うべき道を明らかにする。 論文には4つの貢献がある。 まず, ウレオスは色彩を利用しており, その効果は, 逆の訓練を使わずに, 単純な灰色スケールのプリフィルタによって軽減できることを示した。 第2に,ULEO(ULEO-GrayAugs)の拡張を提案する。この拡張は,最適化時にグレースケールの知識とデータ拡張を利用することで,生成したULEをチャネルワイドな色摂動から遠ざける。 第3に,多層パーセプトロン(MLP)を用いて生成されたULEOは,複雑な畳み込みニューラルネットワーク(CNN)分類器の場合に有効であることを示す。 第4に,ULEOで分類器を訓練すると,クリーン画像と逆画像の両方で測定された精度の低下を防止できることを示した。 私たちの貢献は、学習不可能な例の最先端技術であると同時に、さらなる改善を達成するためには、より理解しなくてはならない行動の重要な特徴も明らかにしている。

関連論文リスト

• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• The First to Know: How Token Distributions Reveal Hidden Knowledge in Large Vision-Language Models? [34.27319941609499]
  本研究では線形プローブを用いてLVLMの出力層における隠れた知識を隠蔽する。 本報告では,最初のトークンのロジット分布は命令に応答するかどうかを決定するのに十分な情報を含んでいることを示す。
  論文  参考訳（メタデータ） (2024-03-14T02:25:35Z)
• Pre-training-free Image Manipulation Localization through Non-Mutually Exclusive Contrastive Learning [6.829211387614174]
  我々は,Deep Image Manipulation Localization(IML)モデルにおけるデータ不足問題に対処するために,コントラスト学習の方が適していると主張している。 改ざんされたパッチと認証されたパッチは自然に相互に排他的であるが、改ざんされたピクセルと認証されたピクセルの両方を含む輪郭のパッチは相互に排他的である。 本稿では,従来のコントラスト学習を上記のジレンマから救うために,非ミューチュアル排他的コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-26T12:58:44Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• MSR: Making Self-supervised learning Robust to Aggressive Augmentations [98.6457801252358]
  本稿では,弱いペアと攻撃的なペアの役割のバランスをとることによって,意味変化の影響に対処する新たなSSLパラダイムを提案する。 我々は,BYOLを2.5%改善したResNet-50を200エポックとして,ImageNet-1Kで73.1%のTop-1精度を実現したことを示す。
  論文  参考訳（メタデータ） (2022-06-04T14:27:29Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
  そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。 提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
  論文  参考訳（メタデータ） (2020-10-21T02:13:26Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。