論文の概要: Rethinking Weak Supervision in Helping Contrastive Learning

• arxiv url: http://arxiv.org/abs/2306.04160v1
• Date: Wed, 7 Jun 2023 05:18:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:08:04.351268
• Title: Rethinking Weak Supervision in Helping Contrastive Learning
• Title（参考訳）: コントラスト学習における弱視の再考
• Authors: Jingyi Cui, Weiran Huang, Yifei Wang, Yisen Wang
• Abstract要約: コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。 具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。 半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
• 参考スコア（独自算出の注目度）: 19.5649824524209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has shown outstanding performances in both supervised and unsupervised learning, and has recently been introduced to solve weakly supervised learning problems such as semi-supervised learning and noisy label learning. Despite the empirical evidence showing that semi-supervised labels improve the representations of contrastive learning, it remains unknown if noisy supervised information can be directly used in training instead of after manual denoising. Therefore, to explore the mechanical differences between semi-supervised and noisy-labeled information in helping contrastive learning, we establish a unified theoretical framework of contrastive learning under weak supervision. Specifically, we investigate the most intuitive paradigm of jointly training supervised and unsupervised contrastive losses. By translating the weakly supervised information into a similarity graph under the framework of spectral clustering based on the posterior probability of weak labels, we establish the downstream classification error bound. We prove that semi-supervised labels improve the downstream error bound whereas noisy labels have limited effects under such a paradigm. Our theoretical findings here provide new insights for the community to rethink the role of weak supervision in helping contrastive learning.
• Abstract（参考訳）: コントラスト学習は、教師付き学習と教師なし学習の両方において優れた性能を示し、半教師付き学習や雑音付きラベル学習のような弱教師付き学習問題を解決するために最近導入された。 半教師付きラベルがコントラスト学習の表現を改善するという実証的な証拠があるが、手作業の後に教師付き情報を直接トレーニングに使用できるかどうかは不明である。 そこで, 半教師情報と雑音ラベル情報との機械的な差異を比較学習の助けとして探究するために, 弱監督下でのコントラスト学習の統一的な理論的枠組みを確立した。 具体的には,教師なしおよび教師なしのコントラスト損失を共同訓練する最も直感的なパラダイムについて検討する。 弱教師付き情報を,弱ラベルの後方確率に基づくスペクトルクラスタリングの枠組みの下で類似度グラフに翻訳することにより,下流分類誤差境界を確立する。 半教師付きラベルはダウンストリームエラーバウンドを改善するが、ノイズラベルはそのようなパラダイム下では限定的な効果を持つ。 ここでの理論的知見は、コントラスト学習における弱監督の役割を再考する新たな洞察を与えるものである。

関連論文リスト

• Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection [0.0]
  教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。 本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T07:21:03Z)
• Label Propagation with Weak Supervision [47.52032178837098]
  古典的ラベル伝搬アルゴリズム(LPA)の新しい解析法について紹介する(Zhu & Ghahramani, 2002)。 基礎となるグラフの局所的幾何学的性質と先行情報の品質の両方を利用する誤差境界を提供する。 提案手法は,従来の半教師付き手法と弱教師付き手法を改良した,弱教師付き分類タスクに応用できることを実証する。
  論文  参考訳（メタデータ） (2022-10-07T14:53:02Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
  対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。 また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
  論文  参考訳（メタデータ） (2021-10-06T03:10:28Z)
• Co-learning: Learning from Noisy Labels with Self-supervision [28.266156561454327]
  自己教師付き学習はラベルのない状態で機能し、ノイズラベルの負の影響を排除します。 教師付き学習と自己監督型学習の両方の視点で協調学習を行うことで、ノイズラベルを用いた学習のためのコラーニングという、シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-08-05T06:20:51Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
  教師付き学習では、データは不完全で差別的な情報で注釈付けされる。 本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。 弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-04T18:14:32Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。