論文の概要: Similarity and Generalization: From Noise to Corruption

• arxiv url: http://arxiv.org/abs/2201.12803v1
• Date: Sun, 30 Jan 2022 12:53:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 06:57:34.142679
• Title: Similarity and Generalization: From Noise to Corruption
• Title（参考訳）: 類似性と一般化:騒音から腐敗へ
• Authors: Nayara Fonseca, Veronica Guidetti
• Abstract要約: 我々は、最も単純な代表であるシームズニューラルネットワーク(SNN)に着目して、コントラスト学習における一般化を研究する。 SNNはラベルペアノイズ(PLN)とシングルラベルノイズ(SLN)の2つの異なるノイズ源の影響を受けうることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning aims to extract distinctive features from data by finding an embedding representation where similar samples are close to each other, and different ones are far apart. We study generalization in contrastive learning, focusing on its simplest representative: Siamese Neural Networks (SNNs). We show that Double Descent also appears in SNNs and is exacerbated by noise. We point out that SNNs can be affected by two distinct sources of noise: Pair Label Noise (PLN) and Single Label Noise (SLN). The effect of SLN is asymmetric, but it preserves similarity relations, while PLN is symmetric but breaks transitivity. We show that the dataset topology crucially affects generalization. While sparse datasets show the same performances under SLN and PLN for an equal amount of noise, SLN outperforms PLN in the overparametrized region in dense datasets. Indeed, in this regime, PLN similarity violation becomes macroscopical, corrupting the dataset to the point where complete overfitting cannot be achieved. We call this phenomenon Density-Induced Break of Similarity (DIBS). We also probe the equivalence between online optimization and offline generalization for similarity tasks. We observe that an online/offline correspondence in similarity learning can be affected by both the network architecture and label noise.
• Abstract（参考訳）: コントラスト学習は、類似したサンプルが互いに近接し、異なるものが遠く離れた埋め込み表現を見つけることによって、データから特徴を抽出することを目的としている。 我々は、最も単純な代表であるシームズニューラルネットワーク(SNN)に着目し、対照的な学習における一般化について研究する。 また,SNNにもDouble Descentが出現し,ノイズにより悪化していることを示す。 SNNは2つの異なるノイズ源、PLN(Pair Label Noise)とSLN(Single Label Noise)の影響を受けうると指摘する。 SLNの効果は非対称であるが、類似性関係を保ち、PLNは対称であるが推移性を損なう。 データセットトポロジーが一般化に重大な影響を与えることを示す。 スパースデータセットはSLNとPLNで同等のノイズ量で同じ性能を示すが、SLNは高密度データセットにおいて過度にパラメータ化された領域でPLNより優れる。 実際、この体制ではPLNの類似性違反はマクロ的になり、データセットを完全なオーバーフィッティングが達成できない時点まで劣化させる。 この現象密度誘起類似性の崩壊(dibs)と呼ぶ。 また,類似性タスクのオンライン最適化とオフライン一般化の等価性についても検討した。 類似性学習におけるオンライン/オフライン対応は,ネットワークアーキテクチャやラベルノイズの影響を受けやすい。

関連論文リスト

• Disentangled Noisy Correspondence Learning [56.06801962154915]
  クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
  論文  参考訳（メタデータ） (2024-08-10T09:49:55Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
  本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。 非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。 部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
  論文  参考訳（メタデータ） (2021-12-09T18:54:29Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Learning from Noisy Labels with Noise Modeling Network [7.523041606515877]
  ノイズモデリングネットワーク(NMN)は、私たちの畳み込みニューラルネットワーク(CNN)に従い、それを統合します。 NMNはノイズデータから直接ノイズパターンの分布を学習する。 統合NMN/CNN学習システムでは,一貫した分類性能の向上が期待できる。
  論文  参考訳（メタデータ） (2020-05-01T20:32:22Z)
• Learning from Noisy Similar and Dissimilar Data [84.76686918337134]
  ノイズSとDラベル付きデータから分類器を学習する方法を示す。 また、このような相互監督データからの学習と、通常のクラスラベルデータからの学習との間に重要な関連性を示す。
  論文  参考訳（メタデータ） (2020-02-03T19:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。