論文の概要: Dominant Patterns: Critical Features Hidden in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2105.15057v1
• Date: Mon, 31 May 2021 15:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:26:39.115819
• Title: Dominant Patterns: Critical Features Hidden in Deep Neural Networks
• Title（参考訳）: 支配的パターン:ディープニューラルネットワークに隠された重要な特徴
• Authors: Zhixing Ye, Shaofei Qin, Sizhe Chen, Xiaolin Huang
• Abstract要約: Deep NeuralNetworks (DNN) に隠された重要な機能の存在を発見した。 これらの特徴を支配的なパターンと呼びます。 支配的パターンの直接的な応用は、ユニバーサル・ディバイサル摂動(UAP)である。
• 参考スコア（独自算出の注目度）: 18.3349994100552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we find the existence of critical features hidden in Deep NeuralNetworks (DNNs), which are imperceptible but can actually dominate the outputof DNNs. We call these features dominant patterns. As the name suggests, for a natural image, if we add the dominant pattern of a DNN to it, the output of this DNN is determined by the dominant pattern instead of the original image, i.e., DNN's prediction is the same with the dominant pattern's. We design an algorithm to find such patterns by pursuing the insensitivity in the feature space. A direct application of the dominant patterns is the Universal Adversarial Perturbations(UAPs). Numerical experiments show that the found dominant patterns defeat state-of-the-art UAP methods, especially in label-free settings. In addition, dominant patterns are proved to have the potential to attack downstream tasks in which DNNs share the same backbone. We claim that DNN-specific dominant patterns reveal some essential properties of a DNN and are of great importance for its feature analysis and robustness enhancement.
• Abstract（参考訳）: 本稿では,Deep NeuralNetworks (DNN) に隠された重要な機能の存在について述べる。 これらの特徴を支配的なパターンと呼びます 名前が示すように、自然画像に対して、DNNの支配的なパターンを付加すると、DNNの出力は元の画像ではなく支配的なパターンによって決定され、すなわち、DNNの予測は支配的なパターンと同じである。 特徴空間の感度を追求することで,そのようなパターンを見つけるアルゴリズムを設計する。 支配的なパターンの直接的な応用は、Universal Adversarial Perturbations (UAP)である。 数値実験により, 得られた支配パターンが, 特にラベルフリー環境で, 最先端のUAP手法を破ることが判明した。 さらに、支配的なパターンは、DNNが同じバックボーンを共有する下流タスクを攻撃する可能性があることが証明されている。 我々は、DNN固有の支配パターンがDNNの本質的な性質を明らかにし、その特徴解析と堅牢性向上に非常に重要であると主張している。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
  我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。 同時に、精度の向上を制限するために作用する副作用も発見する。
  論文  参考訳（メタデータ） (2024-04-17T12:22:54Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Robust and Lossless Fingerprinting of Deep Neural Networks via Pooled Membership Inference [17.881686153284267]
  ディープニューラルネットワーク(DNN)は、すでに多くのアプリケーション分野で大きな成功を収めており、私たちの社会に大きな変化をもたらしています。 DNNの知的財産権(IP)を侵害から保護する方法は、最も重要かつ非常に困難なトピックの1つである。 本稿では,DNNモデルのIPを保護するために,Emphpooled Memberation Inference (PMI) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-09T04:06:29Z)
• Neuron Coverage-Guided Domain Generalization [37.77033512313927]
  本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。 私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
  論文  参考訳（メタデータ） (2021-02-27T14:26:53Z)
• Identity-aware Graph Neural Networks [63.6952975763946]
  グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。 ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。 既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-25T18:59:01Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Understanding Local Robustness of Deep Neural Networks under Natural Variations [18.638234554232994]
  ディープニューラルネットワーク(DNN)は今日、広範囲な設定でデプロイされている。 近年の研究では、DNNは入力データのわずかに変化しても脆であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T21:42:16Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。