論文の概要: Find the Lady: Permutation and Re-Synchronization of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2312.14182v1
• Date: Tue, 19 Dec 2023 12:57:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-31 03:47:40.728040
• Title: Find the Lady: Permutation and Re-Synchronization of Deep Neural Networks
• Title（参考訳）: find the lady:ディープニューラルネットワークの置換と再同期
• Authors: Carl De Sousa Trias, Mihai Petru Mitrea, Attilio Fiandrotti, Marco Cagnazzo, Sumanta Chaudhuri, Enzo Tartaglione
• Abstract要約: ディープニューラルネットワークは、冗長な複数の対称的、均質な解によって特徴づけられる。 我々は、置換ニューロンの順序を再同期する手法を前進させる。 モデルの整合性を損なう通常の方法の理論的および実践的な証拠を提供し、その結果、それに対応する解が導かれる。
• 参考スコア（独自算出の注目度）: 12.206173702556773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are characterized by multiple symmetrical, equi-loss solutions that are redundant. Thus, the order of neurons in a layer and feature maps can be given arbitrary permutations, without affecting (or minimally affecting) their output. If we shuffle these neurons, or if we apply to them some perturbations (like fine-tuning) can we put them back in the original order i.e. re-synchronize? Is there a possible corruption threat? Answering these questions is important for applications like neural network white-box watermarking for ownership tracking and integrity verification. We advance a method to re-synchronize the order of permuted neurons. Our method is also effective if neurons are further altered by parameter pruning, quantization, and fine-tuning, showing robustness to integrity attacks. Additionally, we provide theoretical and practical evidence for the usual means to corrupt the integrity of the model, resulting in a solution to counter it. We test our approach on popular computer vision datasets and models, and we illustrate the threat and our countermeasure on a popular white-box watermarking method.
• Abstract（参考訳）: ディープニューラルネットワークは、冗長な複数の対称、等価損失解によって特徴づけられる。 したがって、層内のニューロンの順序と特徴写像は、それらの出力に影響を与えることなく、任意の置換を与えることができる。 これらのニューロンをシャッフルしたり、微調整のような摂動を応用すれば、それらを元の順序、すなわち再同期に戻すことができるだろうか? 汚職の恐れはあるのか? これらの疑問に答えることは、オーナシップトラッキングと整合性検証のためのニューラルネットワークのホワイトボックス透かしのようなアプリケーションにとって重要である。 我々は、置換ニューロンの順序を再同期する手法を考案する。 本手法は,ニューロンがパラメータプルーニング,量子化,微調整によってさらに変化した場合にも有効である。 さらに、モデルの整合性を損なう通常の方法に関する理論的および実践的な証拠を提供し、その結果、それに対応する解が得られる。 我々は,人気のあるコンピュータビジョンデータセットとモデルを用いて,我々のアプローチをテストし,一般的なホワイトボックス透かし法における脅威と対策を説明する。

関連論文リスト

• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
  本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。 RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。 このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:29:30Z)
• Fully Automatic Neural Network Reduction for Formal Verification [8.017543518311196]
  到達可能性解析を用いたニューラルネットワークの完全自動・音量低減手法を提案する。 音質は、低減されたネットワークの検証が元のネットワークの検証を必要とすることを保証します。 提案手法は, ニューロンの数を, 小さい外近似で, 元のニューロン数のごく一部に減らすことができることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:13:47Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Self-Healing Robust Neural Networks via Closed-Loop Control [23.360913637445964]
  典型的な自己修復機構は人体の免疫系である。 本稿では,ニューラルネットワークの学習後の自己修復について考察する。 本研究では,様々な攻撃や摂動によるエラーを自動的に検出し,修正するクローズドループ制御式を提案する。
  論文  参考訳（メタデータ） (2022-06-26T20:25:35Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Neuron Merging: Compensating for Pruned Neurons [3.441021278275805]
  構造的ネットワークプルーニングは、ニューロン全体やフィルターを破棄し、精度を低下させる。 完全連結層と畳み込み層の両方に適用可能なニューロン融合の概念を提案する。 我々は93.16%の精度を達成し、微調整なしで総パラメータの64%を削減した。
  論文  参考訳（メタデータ） (2020-10-25T16:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。