論文の概要: On the Computational Entanglement of Distant Features in Adversarial Machine Learning

• arxiv url: http://arxiv.org/abs/2309.15669v5
• Date: Mon, 9 Sep 2024 12:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 04:03:29.679271
• Title: On the Computational Entanglement of Distant Features in Adversarial Machine Learning
• Title（参考訳）: 敵対的機械学習における距離特徴の計算的絡み合いについて
• Authors: YenLung Lai, Xingbo Dong, Zhe Jin,
• Abstract要約: 本稿では,モデルが長さの縮みの影響と概念的に結びつく方法でノイズパターンを利用する現象である「計算絡み合い」を導入する。 本研究は, モデル頑健性の向上と, 対角的文脈におけるニューラルネットワーク理解における計算絡みの重要性を強調した。
• 参考スコア（独自算出の注目度）: 8.87656044562629
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this research, we introduce 'computational entanglement', a phenomenon in overparameterized neural networks where the model exploits noise patterns in ways conceptually linked to the effects of length contraction. More specific, our findings demonstrate that overparameterized feedforward linear networks can easily achieve zero loss by fitting random noise, even with test samples that were never encountered during training. This phenomenon accompanies length contraction, where trained and test samples converge at the same point within a spacetime diagram. Unlike most models that rely on supervised learning, our method operates unsupervised, without the need for labels or gradient-based optimization. Additionally, we show a novel application of computational entanglement: transforming adversarial examples-highly non-robuts inputs imperceptible to human observers-into outputs that are recognizable and robust. This challenges conventional views on non-robust features in adversarial example generation, providing new insights into the underlying mechanisms. Our results emphasize the importance of computational entanglement for enhancing model robustness and understanding neural networks in adversarial contexts.
• Abstract（参考訳）: 本研究では,超過度ニューラルネットワークにおける「計算エンタングルメント(Computational Enanglement)」という現象を紹介し,そのモデルが長さ収縮の効果と概念的に結びついた方法でノイズパターンを利用する。 より具体的には,過パラメータ化フィードフォワード線形ネットワークは,トレーニング中に遭遇したことのない試験サンプルであっても,ランダムノイズを適応することにより,損失をゼロにすることができることを示した。 この現象は長さの収縮に伴い、訓練されたサンプルと試験サンプルが時空図内の同じ点で収束する。 教師付き学習に依存するほとんどのモデルとは異なり、我々の手法はラベルや勾配に基づく最適化を必要とせずに教師なしで動作している。 さらに, 計算絡みの新たな応用法として, 人間の観測者に対して認識可能で頑健な非分布入力を変換する手法を提案する。 このことは、敵のサンプル生成における非破壊的特徴に関する従来の見解に挑戦し、基礎となるメカニズムに関する新たな洞察を提供する。 本研究は, モデル頑健性の向上と, 対角的文脈におけるニューラルネットワーク理解における計算絡みの重要性を強調した。

関連論文リスト

• On Space Folds of ReLU Neural Networks [6.019268056469171]
  近年の研究では、ReLUニューラルネットワークは入力空間の空間折り畳みとして幾何学的に理解できることが示唆されている。 本稿では、この空間現象をReLUモデルで初めて定量的に解析する。
  論文  参考訳（メタデータ） (2025-02-14T07:22:24Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Adversarial Perturbations Are Not So Weird: Entanglement of Robust and Non-Robust Features in Neural Network Classifiers [4.511923587827301]
  標準的な方法でトレーニングされたニューラルネットワークでは、ロバストでない機能は、小さな"非セマンティック"パターンに反応する。 逆の例は、これらの小さな絡み合ったパターンに対する、最小限の摂動によって形成できます。
  論文  参考訳（メタデータ） (2021-02-09T20:21:31Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。