論文の概要: Generalizing similarity in noisy setups: the DIBS phenomenon

• arxiv url: http://arxiv.org/abs/2201.12803v3
• Date: Mon, 24 Jul 2023 15:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 01:32:33.301245
• Title: Generalizing similarity in noisy setups: the DIBS phenomenon
• Title（参考訳）: 雑音系における類似性の一般化:DIBS現象
• Authors: Nayara Fonseca, Veronica Guidetti
• Abstract要約: この研究は、類似性学習におけるデータ密度、ノイズ、一般化能力の間の相互作用を明らかにする。 コントラスト学習の基本的な形態であるシームズニューラルネットワーク(SNN)を考察し,SNN,Pair Label Noise(PLN),Single Label Noise(SLN)に影響を及ぼす2種類のノイズを探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work uncovers an interplay among data density, noise, and the generalization ability in similarity learning. We consider Siamese Neural Networks (SNNs), which are the basic form of contrastive learning, and explore two types of noise that can impact SNNs, Pair Label Noise (PLN) and Single Label Noise (SLN). Our investigation reveals that SNNs exhibit double descent behaviour regardless of the training setup and that it is further exacerbated by noise. We demonstrate that the density of data pairs is crucial for generalization. When SNNs are trained on sparse datasets with the same amount of PLN or SLN, they exhibit comparable generalization properties. However, when using dense datasets, PLN cases generalize worse than SLN ones in the overparametrized region, leading to a phenomenon we call Density-Induced Break of Similarity (DIBS). In this regime, PLN similarity violation becomes macroscopical, corrupting the dataset to the point where complete interpolation cannot be achieved, regardless of the number of model parameters. Our analysis also delves into the correspondence between online optimization and offline generalization in similarity learning. The results show that this equivalence fails in the presence of label noise in all the scenarios considered.
• Abstract（参考訳）: この研究は、類似学習におけるデータ密度、ノイズ、一般化能力の間の相互作用を明らかにする。 コントラスト学習の基本的な形態であるシームズニューラルネットワーク(SNN)を考察し,SNN,Pair Label Noise(PLN),Single Label Noise(SLN)に影響を及ぼす2種類のノイズを探索する。 本研究は,SNNがトレーニング設定によらず二重降下挙動を示し,騒音によりさらに悪化していることを明らかにする。 データペアの密度は一般化に不可欠であることを示す。 SNNは、PLNやSLNと同じ量のスパースデータセットで訓練されると、同等の一般化特性を示す。 しかし、密度の強いデータセットを使用すると、PLNのケースは過度にパラメータ化された領域のSLNのものよりも一般化し、密度誘起類似性の破れ(DIBS)と呼ばれる現象を引き起こす。 この状態において、PLNの類似性違反は、モデルパラメータの数に関係なく、完全な補間が達成できない点までデータセットを破損させる。 類似性学習におけるオンライン最適化とオフライン一般化の対応についても検討した。 その結果、この等価性は、考慮されたすべてのシナリオにおいてラベルノイズの存在下で失敗することが示された。

関連論文リスト

• Disentangled Noisy Correspondence Learning [56.06801962154915]
  クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
  論文  参考訳（メタデータ） (2024-08-10T09:49:55Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
  本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。 非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。 部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
  論文  参考訳（メタデータ） (2021-12-09T18:54:29Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Learning from Noisy Labels with Noise Modeling Network [7.523041606515877]
  ノイズモデリングネットワーク(NMN)は、私たちの畳み込みニューラルネットワーク(CNN)に従い、それを統合します。 NMNはノイズデータから直接ノイズパターンの分布を学習する。 統合NMN/CNN学習システムでは,一貫した分類性能の向上が期待できる。
  論文  参考訳（メタデータ） (2020-05-01T20:32:22Z)
• Learning from Noisy Similar and Dissimilar Data [84.76686918337134]
  ノイズSとDラベル付きデータから分類器を学習する方法を示す。 また、このような相互監督データからの学習と、通常のクラスラベルデータからの学習との間に重要な関連性を示す。
  論文  参考訳（メタデータ） (2020-02-03T19:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。