論文の概要: Exact Feature Collisions in Neural Networks

• arxiv url: http://arxiv.org/abs/2205.15763v1
• Date: Tue, 31 May 2022 13:01:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 14:51:01.541857
• Title: Exact Feature Collisions in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける厳密な特徴衝突
• Authors: Utku Ozbulak, Manvel Gasparyan, Shodhan Rao, Wesley De Neve, Arnout Van Messem
• Abstract要約: 最近の研究では、同じネットワークが大規模な変化に対して非常に敏感であることが示唆されている。 そのような場合、2つのデータポイントの特徴は概して衝突し、ほぼ同様の予測が導かれる。 本研究では,衝突に依存しない数値的手法であるNull-space Searchを提案し,任意の入力に対して照合機能を備えたデータポイントを作成する。
• 参考スコア（独自算出の注目度）: 2.1069219768528473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictions made by deep neural networks were shown to be highly sensitive to small changes made in the input space where such maliciously crafted data points containing small perturbations are being referred to as adversarial examples. On the other hand, recent research suggests that the same networks can also be extremely insensitive to changes of large magnitude, where predictions of two largely different data points can be mapped to approximately the same output. In such cases, features of two data points are said to approximately collide, thus leading to the largely similar predictions. Our results improve and extend the work of Li et al.(2019), laying out theoretical grounds for the data points that have colluding features from the perspective of weights of neural networks, revealing that neural networks not only suffer from features that approximately collide but also suffer from features that exactly collide. We identify the necessary conditions for the existence of such scenarios, hereby investigating a large number of DNNs that have been used to solve various computer vision problems. Furthermore, we propose the Null-space search, a numerical approach that does not rely on heuristics, to create data points with colliding features for any input and for any task, including, but not limited to, classification, localization, and segmentation.
• Abstract（参考訳）: 深層ニューラルネットワークによる予測は、小さな摂動を含む悪意あるデータポイントを敵の例と呼ぶ入力空間における小さな変化に非常に敏感であることが示されている。 一方で、最近の研究では、同じネットワークは大きな大きさの変化に非常に敏感であり、2つの大まかに異なるデータポイントの予測をほぼ同じ出力にマッピングできることが示唆されている。 このような場合、2つのデータポイントの特徴は概ね衝突すると言われるため、ほぼ同様の予測に繋がる。 結果は、liとalの仕事を改善し、拡張します。 (2019)は、ニューラルネットワークの重みの観点から、特徴を分解するデータポイントの理論的根拠を定め、ニューラルネットワークが概ね衝突する特徴だけでなく、完全に衝突する特徴も損なうことを明らかにした。 このようなシナリオが存在するために必要な条件を,様々なコンピュータビジョン問題を解決するために用いられてきた多数のdnnを調査した。 さらに,任意の入力と任意のタスク,すなわち分類,局所化,セグメンテーションを含む,あるいは制限されない任意の特徴を衝突させたデータポイントを作成するための,ヒューリスティックスに依存しない数値的手法であるnull-space searchを提案する。

関連論文リスト

• Evaluating the Robustness of Deep-Learning Algorithm-Selection Models by Evolving Adversarial Instances [0.16874375111244325]
  ディープ畳み込みネットワーク(DNN)は、ニューラルネットワークドメインにおけるアルゴリズム選択の実行にますます利用されている。 逆のサンプルは、データセットによって元のインスタンスの最大56%から生成される。 進化的アルゴリズム(EA)を用いて、2つの既存のベンチマークからオンラインビンパッキングのためのインスタンスの摂動を見つけ、トレーニングされたDRNを誤分類させます。
  論文  参考訳（メタデータ） (2024-06-24T12:48:44Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Memorization with neural nets: going beyond the worst case [5.662924503089369]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Unfolding Local Growth Rate Estimates for (Almost) Perfect Adversarial Detection [22.99930028876662]
  畳み込みニューラルネットワーク(CNN)は、多くの知覚的タスクにおける最先端のソリューションを定義する。 現在のCNNアプローチは、システムを騙すために特別に作られた入力の敵の摂動に対して脆弱なままである。 本稿では,ネットワークの局所固有次元(LID)と敵攻撃の関係について,最近の知見を生かした,シンプルで軽量な検出器を提案する。
  論文  参考訳（メタデータ） (2022-12-13T17:51:32Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Bias Loss for Mobile Neural Networks [14.08237958134373]
  コンパクト畳み込みニューラルネットワーク(CNN)は、近年、異常なパフォーマンス改善を目撃している。 層によって捕捉される多様かつ豊富な特徴は、これらの成功しているCNNの重要な特徴である。 コンパクトCNNでは、パラメータ数が限られているため、豊富な特徴が得られず、特徴の多様性が本質的な特徴となる。
  論文  参考訳（メタデータ） (2021-07-23T12:37:56Z)
• Bayesian Neural Networks [0.0]
  ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。 さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
  論文  参考訳（メタデータ） (2020-06-02T09:43:00Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。