論文の概要: Isometric Representations in Neural Networks Improve Robustness

• arxiv url: http://arxiv.org/abs/2211.01236v1
• Date: Wed, 2 Nov 2022 16:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 14:57:49.384626
• Title: Isometric Representations in Neural Networks Improve Robustness
• Title（参考訳）: ニューラルネットワークにおける等尺表現はロバスト性を改善する
• Authors: Kosio Beshkov, Jonas Verhellen and Mikkel Elle Lepper{\o}d
• Abstract要約: 我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial and biological agents cannon learn given completely random and unstructured data. The structure of data is encoded in the metric relationships between data points. In the context of neural networks, neuronal activity within a layer forms a representation reflecting the transformation that the layer implements on its inputs. In order to utilize the structure in the data in a truthful manner, such representations should reflect the input distances and thus be continuous and isometric. Supporting this statement, recent findings in neuroscience propose that generalization and robustness are tied to neural representations being continuously differentiable. In machine learning, most algorithms lack robustness and are generally thought to rely on aspects of the data that differ from those that humans use, as is commonly seen in adversarial attacks. During cross-entropy classification, the metric and structural properties of network representations are usually broken both between and within classes. This side effect from training can lead to instabilities under perturbations near locations where such structure is not preserved. One of the standard solutions to obtain robustness is to add ad hoc regularization terms, but to our knowledge, forcing representations to preserve the metric structure of the input data as a stabilising mechanism has not yet been studied. In this work, we train neural networks to perform classification while simultaneously maintaining within-class metric structure, leading to isometric within-class representations. Such network representations turn out to be beneficial for accurate and robust inference. By stacking layers with this property we create a network architecture that facilitates hierarchical manipulation of internal neural representations. Finally, we verify that isometric regularization improves the robustness to adversarial attacks on MNIST.
• Abstract（参考訳）: 人工的および生物的エージェント・キャノンは、完全にランダムで非構造的なデータを学習する。 データの構造は、データポイント間の計量関係に符号化される。 ニューラルネットワークの文脈では、層内の神経活動は、層がその入力に実装する変換を反映した表現を形成する。 データの構造を真に利用するには、そのような表現は入力距離を反映し、従って連続的かつ等尺的であるべきである。 神経科学の最近の知見は、一般化と堅牢性は連続的に区別できる神経表現と結びついていることを示唆している。 機械学習では、ほとんどのアルゴリズムは堅牢性に欠けており、一般的には敵対攻撃でよく見られるように、人間が使用するものと異なるデータの側面に依存していると考えられている。 クロスエントロピー分類において、ネットワーク表現の計量的および構造的性質は通常、クラス間とクラス内の両方で壊れる。 この訓練による副作用は、そのような構造が保存されていない場所での摂動下での不安定性につながる可能性がある。 強靭性を得るための標準的な解決策の1つは、アドホックな正規化項を追加することであるが、我々の知識には、入力データのメートル法構造を安定化機構として保持するよう強制する表現はまだ研究されていない。 本研究では,クラス内のメトリック構造を同時に維持しながら,分類を行うニューラルネットワークを訓練し,クラス内の等尺表現を導出する。 このようなネットワーク表現は、正確で堅牢な推論に有用であることが判明した。 この特性でレイヤを積み重ねることで、内部神経表現の階層的操作を容易にするネットワークアーキテクチャを構築する。 最後に,等尺正則化がMNISTに対する敵攻撃に対する堅牢性を向上させることを検証する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Formal Verification of Graph Convolutional Networks with Uncertain Node Features and Uncertain Graph Structure [7.133681867718039]
  グラフニューラルネットワークは、機械学習の分野でますます人気が高まっている。 これらは、摂動が本質的に起こる安全クリティカルな環境に適用されている。 本研究は、基礎となる計算におけるすべての要素の依存関係を保存することによって、非通過ギャップに対処する。
  論文  参考訳（メタデータ） (2024-04-23T14:12:48Z)
• Representational dissimilarity metric spaces for stochastic neural networks [4.229248343585332]
  神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。 形状メトリクスを一般化して表現の違いを定量化する。 神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
  論文  参考訳（メタデータ） (2022-11-21T17:32:40Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。