論文の概要: Input Similarity from the Neural Network Perspective
- arxiv url: http://arxiv.org/abs/2102.05262v1
- Date: Wed, 10 Feb 2021 04:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:51:50.929111
- Title: Input Similarity from the Neural Network Perspective
- Title（参考訳）: ニューラルネットワークから見た入力類似性
- Authors: Guillaume Charpiat, Nicolas Girard, Loris Felardos, Yuliya Tarabalka
- Abstract要約: ノイズの多いラベルを持つデータセットでトレーニングされたニューラルネットワークは、ほぼ完璧な精度に達する。
サンプル密度を推定するために類似度の測定方法を示す。
また、類似した例をネットワークによっても類似とみなすよう提案する。
- 参考スコア（独自算出の注目度）: 7.799648230758492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We first exhibit a multimodal image registration task, for which a neural
network trained on a dataset with noisy labels reaches almost perfect accuracy,
far beyond noise variance. This surprising auto-denoising phenomenon can be
explained as a noise averaging effect over the labels of similar input
examples. This effect theoretically grows with the number of similar examples;
the question is then to define and estimate the similarity of examples.
We express a proper definition of similarity, from the neural network
perspective, i.e. we quantify how undissociable two inputs $A$ and $B$ are,
taking a machine learning viewpoint: how much a parameter variation designed to
change the output for $A$ would impact the output for $B$ as well?
We study the mathematical properties of this similarity measure, and show how
to use it on a trained network to estimate sample density, in low complexity,
enabling new types of statistical analysis for neural networks. We analyze data
by retrieving samples perceived as similar by the network, and are able to
quantify the denoising effect without requiring true labels. We also propose,
during training, to enforce that examples known to be similar should also be
seen as similar by the network, and notice speed-up training effects for
certain datasets.
- Abstract（参考訳）: まず,ノイズラベル付きデータセット上でトレーニングされたニューラルネットワークが,ノイズ分散をはるかに超えてほぼ完全な精度に達するマルチモーダル画像登録タスクを示す。
この驚くべき自己消音現象は、同様の入力例のラベルに対するノイズ平均効果として説明できる。
この効果は理論的には類似した例の数で増大し、問題は例の類似性を定義して推定することである。
我々は、ニューラルネットワークの観点から、適切な類似性の定義を表現します。
機械学習の視点から見れば、$A$と$B$の2つの入力がいかに不可解であるかを定量化します。$A$の出力を変更するように設計されたパラメータの変動が$B$の出力にも影響しますか?
この類似性尺度の数学的性質について検討し、ニューラルネットワークの新たなタイプの統計解析を可能にするために、トレーニングされたネットワーク上でサンプル密度を推定する方法を示す。
我々は,ネットワークが類似していると見なすサンプルを検索してデータを解析し,真のラベルを必要とせずにデノナイジング効果を定量化することができる。
また、トレーニング中は、類似した例がネットワークによって類似していると見なされるべきであることを強制し、特定のデータセットに対するスピードアップトレーニング効果に気付くように提案する。
関連論文リスト
- A Novel Explainable Out-of-Distribution Detection Approach for Spiking
Neural Networks [6.100274095771616]
この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。
我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。
入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
論文 参考訳（メタデータ） (2022-09-30T11:16:35Z) - Understanding Weight Similarity of Neural Networks via Chain
Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。
まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。
ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文 参考訳（メタデータ） (2022-08-08T19:11:03Z) - Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T08:16:31Z) - Regularization by Misclassification in ReLU Neural Networks [3.288086999241324]
SGDの変種によって訓練されたReLUニューラルネットワークの暗黙バイアスについて検討し、各ステップで確率$p$でラベルをランダムラベルに変更する。
ラベルノイズは、典型的な入力の場合、少数のニューロンがアクティブであり、隠れた層の発火パターンはスペーサーである。
論文 参考訳（メタデータ） (2021-11-03T11:42:38Z) - Slope and generalization properties of neural networks [0.0]
十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。
傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。
本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
論文 参考訳（メタデータ） (2021-07-03T17:54:27Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - Toward Scalable and Unified Example-based Explanation and Outlier
Detection [128.23117182137418]
我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。
類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
論文 参考訳（メタデータ） (2020-11-11T05:58:17Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - What Do Neural Networks Learn When Trained With Random Labels? [20.54410239839646]
我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)について研究する。
ネットワークパラメータとデータの主成分間のアライメントをランダムラベルでトレーニングする場合に行う畳み込みネットワークと完全連結ネットワークを解析的に示す。
ランダムラベルで事前トレーニングされたネットワークは、スクラッチからのトレーニングに比べて、下流でのトレーニングを高速化する。
論文 参考訳（メタデータ） (2020-06-18T12:07:22Z) - Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。
ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
論文 参考訳（メタデータ） (2020-03-24T03:59:26Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。