論文の概要: Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise

• arxiv url: http://arxiv.org/abs/2408.09929v1
• Date: Mon, 19 Aug 2024 12:07:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:24:38.655435
• Title: Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
• Title（参考訳）: コントラスト学習のデータの増大はポジティブ・インセンティブノイズを推定する
• Authors: Hongyuan Zhang, Yanchen Xu, Sida Huang, Xuelong Li,
• Abstract要約: コントラスト学習と$pi$-noiseの関係を科学的に検討する。 タスクに有益なノイズを学習することを目的としたポジティブ・インセンティブノイズ(Pi-Noise または $pi$-Noise )のアイデアに触発されて,我々は $pi$-noise ジェネレータを開発した。
• 参考スコア（独自算出の注目度）: 54.24688963649581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the idea of Positive-incentive Noise (Pi-Noise or $\pi$-Noise) that aims at learning the reliable noise beneficial to tasks, we scientifically investigate the connection between contrastive learning and $\pi$-noise in this paper. By converting the contrastive loss to an auxiliary Gaussian distribution to quantitatively measure the difficulty of the specific contrastive model under the information theory framework, we properly define the task entropy, the core concept of $\pi$-noise, of contrastive learning. It is further proved that the predefined data augmentation in the standard contrastive learning paradigm can be regarded as a kind of point estimation of $\pi$-noise. Inspired by the theoretical study, a framework that develops a $\pi$-noise generator to learn the beneficial noise (instead of estimation) as data augmentations for contrast is proposed. The designed framework can be applied to diverse types of data and is also completely compatible with the existing contrastive models. From the visualization, we surprisingly find that the proposed method successfully learns effective augmentations.
• Abstract（参考訳）: タスクに有益なノイズを学習することを目的としたポジティブ・インセンティブノイズ(Pi-Noise または $\pi$-Noise )の概念に触発され,コントラスト学習と $\pi$-noise の関係を科学的に研究する。 コントラッシブ・ロスを補助ガウス分布に変換して,情報理論の枠組みの下で特定のコントラストモデルの難易度を定量的に測定することにより,コントラスト学習の中核概念であるタスク・エントロピーを適切に定義する。 さらに、標準コントラスト学習パラダイムにおける事前定義されたデータ拡張は、$\pi$-noiseの点推定の一種と見なすことができる。 理論的研究から着想を得て,コントラストデータ拡張として有益雑音(推定の代わりに)を学習するための$\pi$-noiseジェネレータを開発するフレームワークを提案する。 設計されたフレームワークは多様な種類のデータに適用でき、既存のコントラストモデルと完全に互換性がある。 可視化から,提案手法が効果的な拡張学習に成功していることがわかった。

関連論文リスト

• TDCGL: Two-Level Debiased Contrastive Graph Learning for Recommendation [1.5836776102398225]
  実世界におけるKGの実体の長期分布とノイズ問題により、アイテム・エンティリティ依存関係は真の特性を反映しない。 我々はTDCL(Two-Level Debiased Contrastive Learning)を設計し、知識グラフに展開する。 オープンソースデータセットに関する検討実験により,提案手法は優れたアンチノイズ性能を有することが示された。
  論文  参考訳（メタデータ） (2023-10-01T03:56:38Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
  低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。 これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。 まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。 次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
  論文  参考訳（メタデータ） (2023-05-17T13:56:48Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。