論文の概要: On the Computational Entanglement of Distant Features in Adversarial Machine Learning

• arxiv url: http://arxiv.org/abs/2309.15669v7
• Date: Mon, 30 Sep 2024 05:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:57:54.122409
• Title: On the Computational Entanglement of Distant Features in Adversarial Machine Learning
• Title（参考訳）: 敵対的機械学習における距離特徴の計算的絡み合いについて
• Authors: YenLung Lai, Xingbo Dong, Zhe Jin,
• Abstract要約: 計算的絡み合い」の概念を導入する 計算的絡み合いにより、未確認のテストサンプルであっても、ランダムノイズを適合させることで、ネットワークはゼロ損失を達成することができる。 本稿では, 計算エンタングルメントの新たな応用法として, 計算エンタングルメントを, 非ローバストな最悪ケースのサンプル・インプットの変換に適用する。
• 参考スコア（独自算出の注目度）: 8.87656044562629
• License:
• Abstract: In this research, we introduce the concept of "computational entanglement," a phenomenon observed in overparameterized feedforward linear networks that enables the network to achieve zero loss by fitting random noise, even on previously unseen test samples. Analyzing this behavior through spacetime diagrams reveals its connection to length contraction, where both training and test samples converge toward a shared normalized point within a flat Riemannian manifold. Moreover, we present a novel application of computational entanglement in transforming a worst-case adversarial examples-inputs that are highly non-robust and uninterpretable to human observers-into outputs that are both recognizable and robust. This provides new insights into the behavior of non-robust features in adversarial example generation, underscoring the critical role of computational entanglement in enhancing model robustness and advancing our understanding of neural networks in adversarial contexts.
• Abstract（参考訳）: 本研究では,過パラメータ化フィードフォワード線形ネットワークで観測される現象である「計算絡み」の概念を導入する。 この挙動を時空図形を通して解析すると、その長さの縮約との関係が明らかとなり、そこではトレーニングとテストサンプルの両方が平坦リーマン多様体内の共有正規化点へ収束する。 さらに, 計算の絡み合いの新たな応用として, 可視かつ頑健な人間の観測者に対して, 極めて非破壊的で解釈不能な, 最悪の事例-入力を変換する手法を提案する。 これにより、敵のサンプル生成における非破壊的特徴の挙動に関する新たな洞察が得られ、モデルロバスト性の向上における計算エンタングルメントの重要な役割と、敵のコンテキストにおけるニューラルネットワークの理解の促進が示される。

関連論文リスト

• On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.80303951699936]
  ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。 これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。 我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
  論文  参考訳（メタデータ） (2023-11-13T16:18:58Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Adversarial Perturbations Are Not So Weird: Entanglement of Robust and Non-Robust Features in Neural Network Classifiers [4.511923587827301]
  標準的な方法でトレーニングされたニューラルネットワークでは、ロバストでない機能は、小さな"非セマンティック"パターンに反応する。 逆の例は、これらの小さな絡み合ったパターンに対する、最小限の摂動によって形成できます。
  論文  参考訳（メタデータ） (2021-02-09T20:21:31Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。