論文の概要: The Missing Margin: How Sample Corruption Affects Distance to the Boundary in ANNs

• arxiv url: http://arxiv.org/abs/2302.06925v1
• Date: Tue, 14 Feb 2023 09:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 15:42:38.468490
• Title: The Missing Margin: How Sample Corruption Affects Distance to the Boundary in ANNs
• Title（参考訳）: 行方不明のマルジン:ANNの国境からの距離にどんな影響があるか
• Authors: Marthinus W. Theunissen and Coenraad Mouton and Marelie H. Davel
• Abstract要約: いくつかのトレーニングサンプルは、連続的に小さなマージンでモデル化され、異なる方法での一般化に影響を及ぼすことを示す。 我々は、ノイズ崩壊MNISTデータに基づいてトレーニングされた完全接続ネットワークと、ノイズ崩壊CIFAR10データに基づいてトレーニングされた畳み込みネットワークの分析を支援した。
• 参考スコア（独自算出の注目度）: 2.65558931169264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classification margins are commonly used to estimate the generalization ability of machine learning models. We present an empirical study of these margins in artificial neural networks. A global estimate of margin size is usually used in the literature. In this work, we point out seldom considered nuances regarding classification margins. Notably, we demonstrate that some types of training samples are modelled with consistently small margins while affecting generalization in different ways. By showing a link with the minimum distance to a different-target sample and the remoteness of samples from one another, we provide a plausible explanation for this observation. We support our findings with an analysis of fully-connected networks trained on noise-corrupted MNIST data, as well as convolutional networks trained on noise-corrupted CIFAR10 data.
• Abstract（参考訳）: 分類マージンは、機械学習モデルの一般化能力を推定するために一般的に用いられる。 本稿では,これらのマージンをニューラルネットワークで実験的に研究する。 グローバルなマージンサイズの推定は通常、文献で使用される。 本稿では,分類マージンに関するニュアンスをほとんど考慮しない点を指摘する。 特に,いくつかのトレーニングサンプルが連続的に小さなマージンでモデル化され,異なる方法での一般化に影響を及ぼすことを示す。 異なるターゲットのサンプルに最小距離のリンクとサンプルの遠隔性を示すことによって、この観察のもっともらしい説明を提供する。 我々は、ノイズ崩壊MNISTデータに基づいて訓練された完全接続ネットワークと、ノイズ崩壊CIFAR10データに基づいて訓練された畳み込みネットワークの分析を支援した。

関連論文リスト

• An accurate detection is not all you need to combat label noise in web-noisy datasets [23.020126612431746]
  分離した超平面の直接推定により,OOD試料の正確な検出が可能であることを示す。 本稿では,線形分離を用いた雑音検出とSOTA(State-of-the-art-the-loss)アプローチを交互に行うハイブリッドソリューションを提案する。
  論文  参考訳（メタデータ） (2024-07-08T00:21:42Z)
• On margin-based generalization prediction in deep neural networks [0.0]
  本研究では,異なる環境下でのマージンに基づく一般化予測手法について検討する。 異なる種類のサンプルノイズが、ネットワーク全体のマージンに非常に異なる影響を与えることが判明した。 基礎となるデータ多様体の近似を組み込んだ新たなマージンベースの測度を導入する。
  論文  参考訳（メタデータ） (2024-05-20T13:26:57Z)
• Theoretical Understanding of Learning from Adversarial Perturbations [30.759348459463467]
  敵の例がなぜニューラルネットワークを騙し、異なるネットワーク間で転送できるのかは、完全には理解されていない。 本研究では,一層ネットワークを用いた摂動からの学習の理論的枠組みを提案する。 以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-16T06:22:44Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• lpNTK: Better Generalisation with Less Data via Sample Interaction During Learning [22.59771349030541]
  サンプル間の相互作用を測定する際にラベル情報を考慮に入れた疑似ニューラルタンジェントカーネル(lpNTK)を提案する。 lpNTKは、以前の研究で特定された学習現象、特にサンプルの学習困難と学習中の出来事を忘れることを理解するのに役立つ。 筆者らは,lpNTKを用いて中毒訓練サンプルを同定・除去することは,ANNの一般化性能を損なうものではないことを示した。
  論文  参考訳（メタデータ） (2024-01-16T20:20:10Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• MOCCA: Multi-Layer One-Class ClassificAtion for Anomaly Detection [16.914663209964697]
  我々は,Multi-Layer One-Class Classification (MOCCA) と呼ばれる異常検出問題に対するディープラーニングアプローチを提案する。 異なる深さで抽出された情報を利用して異常なデータインスタンスを検出することで、ディープニューラルネットワークのピースワイズ的性質を明示的に活用します。 本稿では,本手法が文献で利用可能な最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-09T08:32:56Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。