論文の概要: On the Computational Entanglement of Distant Features in Adversarial Machine Learning
- arxiv url: http://arxiv.org/abs/2309.15669v5
- Date: Mon, 9 Sep 2024 12:43:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 04:03:29.679271
- Title: On the Computational Entanglement of Distant Features in Adversarial Machine Learning
- Title(参考訳): 敵対的機械学習における距離特徴の計算的絡み合いについて
- Authors: YenLung Lai, Xingbo Dong, Zhe Jin,
- Abstract要約: 本稿では,モデルが長さの縮みの影響と概念的に結びつく方法でノイズパターンを利用する現象である「計算絡み合い」を導入する。
本研究は, モデル頑健性の向上と, 対角的文脈におけるニューラルネットワーク理解における計算絡みの重要性を強調した。
- 参考スコア(独自算出の注目度): 8.87656044562629
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In this research, we introduce 'computational entanglement', a phenomenon in overparameterized neural networks where the model exploits noise patterns in ways conceptually linked to the effects of length contraction. More specific, our findings demonstrate that overparameterized feedforward linear networks can easily achieve zero loss by fitting random noise, even with test samples that were never encountered during training. This phenomenon accompanies length contraction, where trained and test samples converge at the same point within a spacetime diagram. Unlike most models that rely on supervised learning, our method operates unsupervised, without the need for labels or gradient-based optimization. Additionally, we show a novel application of computational entanglement: transforming adversarial examples-highly non-robuts inputs imperceptible to human observers-into outputs that are recognizable and robust. This challenges conventional views on non-robust features in adversarial example generation, providing new insights into the underlying mechanisms. Our results emphasize the importance of computational entanglement for enhancing model robustness and understanding neural networks in adversarial contexts.
- Abstract(参考訳): 本研究では,超過度ニューラルネットワークにおける「計算エンタングルメント(Computational Enanglement)」という現象を紹介し,そのモデルが長さ収縮の効果と概念的に結びついた方法でノイズパターンを利用する。
より具体的には,過パラメータ化フィードフォワード線形ネットワークは,トレーニング中に遭遇したことのない試験サンプルであっても,ランダムノイズを適応することにより,損失をゼロにすることができることを示した。
この現象は長さの収縮に伴い、訓練されたサンプルと試験サンプルが時空図内の同じ点で収束する。
教師付き学習に依存するほとんどのモデルとは異なり、我々の手法はラベルや勾配に基づく最適化を必要とせずに教師なしで動作している。
さらに, 計算絡みの新たな応用法として, 人間の観測者に対して認識可能で頑健な非分布入力を変換する手法を提案する。
このことは、敵のサンプル生成における非破壊的特徴に関する従来の見解に挑戦し、基礎となるメカニズムに関する新たな洞察を提供する。
本研究は, モデル頑健性の向上と, 対角的文脈におけるニューラルネットワーク理解における計算絡みの重要性を強調した。
関連論文リスト
- Unveiling the Potential of Probabilistic Embeddings in Self-Supervised
Learning [4.124934010794795]
自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。
本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。
以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
論文 参考訳(メタデータ) (2023-10-27T12:01:16Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-01-12T17:43:38Z) - Linear Classification of Neural Manifolds with Correlated Variability [3.3946853660795893]
対象表現間の相関関係がキャパシティ,すなわち線形分離可能性にどのように影響するかを示す。
次に、この結果を用いて、ディープネットワークデータのキャパシティを正確に推定する。
論文 参考訳(メタデータ) (2022-11-27T23:01:43Z) - Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。
特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文 参考訳(メタデータ) (2022-07-15T14:57:33Z) - An Analytic Framework for Robust Training of Artificial Neural Networks [5.7365885616661405]
機械学習における問題の複雑な性質から、この現象を説明することは困難である。
本稿では, ニューラルネットワークに対する頑健な学習ルールを提供するために, 複素解析と正則性を利用する。
論文 参考訳(メタデータ) (2022-05-26T17:16:39Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳(メタデータ) (2022-04-05T12:52:45Z) - Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。
この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文 参考訳(メタデータ) (2022-02-17T00:38:35Z) - On Feature Decorrelation in Self-Supervised Learning [15.555208840500086]
最近のアプローチから最も一般的なコンポーネントを含むフレームワークについて検討する。
次元崩壊を軸間の強い相関関係と結び付け、そのような関係を特徴デコリレーションの強い動機とみなす。
論文 参考訳(メタデータ) (2021-05-02T13:28:18Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-08T14:29:07Z) - Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。
本稿では,理論的観点から,そのような手法の性能について考察する。
交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
論文 参考訳(メタデータ) (2020-11-03T15:33:10Z) - A Critical View of the Structural Causal Model [89.43277111586258]
相互作用を全く考慮せずに原因と効果を識別できることが示される。
本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。
我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
論文 参考訳(メタデータ) (2020-02-23T22:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。