論文の概要: Seeing is not always believing: The Space of Harmless Perturbations
- arxiv url: http://arxiv.org/abs/2402.02095v1
- Date: Sat, 3 Feb 2024 09:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:16:56.907009
- Title: Seeing is not always believing: The Space of Harmless Perturbations
- Title（参考訳）: 見ることは常に信じるとは限らない:無害摂動の空間
- Authors: Lu Chen, Shaofeng Li, Benhao Huang, Fan Yang, Zheng Li, Jie Li, Yuan
Luo
- Abstract要約: 深層ニューラルネットワークの文脈では、無害な摂動空間の存在を示し、摂動はネットワークの出力を完全に変更しない。
プライバシー保護データ利用における無害摂動の適用について検討する。
- 参考スコア（独自算出の注目度）: 21.141997900319268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the context of deep neural networks, we expose the existence of a harmless
perturbation space, where perturbations leave the network output entirely
unaltered. Perturbations within this harmless perturbation space, regardless of
their magnitude when applied to images, exhibit no impact on the network's
outputs of the original images. Specifically, given any linear layer within the
network, where the input dimension $n$ exceeds the output dimension $m$, we
demonstrate the existence of a continuous harmless perturbation subspace with a
dimension of $(n-m)$. Inspired by this, we solve for a family of general
perturbations that consistently influence the network output, irrespective of
their magnitudes. With these theoretical findings, we explore the application
of harmless perturbations for privacy-preserving data usage. Our work reveals
the difference between DNNs and human perception that the significant
perturbations captured by humans may not affect the recognition of DNNs. As a
result, we utilize this gap to design a type of harmless perturbation that is
meaningless for humans while maintaining its recognizable features for DNNs.
- Abstract（参考訳）: ディープニューラルネットワークの文脈では、摂動がネットワーク出力を完全に変更しないような、無害な摂動空間の存在を露呈する。
この無害な摂動空間内の摂動は、画像に適用する際の大きさに関係なく、元の画像のネットワークの出力に影響を与えない。
具体的には、入力次元 $n$ が出力次元 $m$ を超えるようなネットワーク内の任意の線型層を考えると、その次元が$(n-m)$ である連続無害摂動部分空間の存在を実証する。
このことから着想を得て,ネットワーク出力に一貫して影響を及ぼす一般的な摂動群について,その大きさに関わらず解く。
これらの理論的知見により,プライバシ保護データ利用における無害な摂動の応用について検討する。
我々の研究は、人間が捉えた大きな摂動がDNNの認識に影響を与えないという人間の認識とDNNの違いを明らかにしている。
その結果、我々はこのギャップを利用して、人間にとって意味のない無害な摂動を設計し、DNNの認識可能な特徴を維持している。
関連論文リスト
- Subspace Defense: Discarding Adversarial Perturbations by Learning a Subspace for Clean Signals [52.123343364599094]
敵の攻撃は、正常な例に基づいて慎重に摂動を行い、ディープニューラルネットワーク(DNN)を騙す
まず,低次元線形部分空間において,クリーン信号と逆方向の摂動の特徴が冗長であり,重なりが最小であることを示す。
これにより、DNNは、摂動が破棄されている間、クリーン信号の特徴のみが存在する部分空間を学習することができる。
論文 参考訳（メタデータ） (2024-03-24T14:35:44Z) - Efficiently Finding Adversarial Examples with DNN Preprocessing [1.0775419935941009]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は至る所にあり、しばしばかなり複雑なタスクを実行します。
本稿では,DNNを前処理して収集した情報を用いて最適化問題を大幅に単純化する手法を提案する。
論文 参考訳（メタデータ） (2022-11-16T06:41:03Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-25T12:33:31Z) - Continuous Generative Neural Networks: A Wavelet-Based Architecture in Function Spaces [1.7205106391379021]
本研究では,連続的な環境下での連続生成ニューラルネットワーク(CGNN)について検討する。
このアーキテクチャはDCGANにインスパイアされ、1つの完全に接続された層、いくつかの畳み込み層、非線形活性化関数を持つ。
本稿では,畳み込みフィルタの条件と,CGNNが注入可能であることを保証する非線形性について述べる。
論文 参考訳（メタデータ） (2022-05-29T11:06:29Z) - Generalization ability and Vulnerabilities to adversarial perturbations: Two sides of the same coin [1.7314342339585087]
自己組織化マップ(SOM)を用いて、ディープラーニングモデルの意思決定に関連する内部コードを分析する。
解析により,入力層に近い浅層が同質コードにマップされ,出力層に近い深層が浅層内のこれらの浅層を多様コードに変換することが示唆された。
論文 参考訳（メタデータ） (2022-05-22T23:14:27Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Disentangling deep neural networks with rectified linear units using
duality [4.683806391173103]
線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。
我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
論文 参考訳（メタデータ） (2021-10-06T16:51:59Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Understanding and Mitigating Exploding Inverses in Invertible Neural
Networks [12.158549746821913]
Invertible Neural Network (INN) は、生成モデルを設計し、メモリ節約勾配計算を実装し、逆問題を解決するために使われている。
本研究は,よく使われる INN アーキテクチャが爆発する逆数に悩まされ,数値的に非可逆になる傾向にあることを示す。
論文 参考訳（メタデータ） (2020-06-16T17:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。