論文の概要: A Message Passing Perspective on Learning Dynamics of Contrastive Learning

• arxiv url: http://arxiv.org/abs/2303.04435v1
• Date: Wed, 8 Mar 2023 08:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 14:51:47.453658
• Title: A Message Passing Perspective on Learning Dynamics of Contrastive Learning
• Title（参考訳）: コントラスト学習の学習ダイナミクスに関するメッセージパッシングの視点から
• Authors: Yifei Wang, Qi Zhang, Tianqi Du, Jiansheng Yang, Zhouchen Lin, Yisen Wang
• Abstract要約: 特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
• 参考スコア（独自算出の注目度）: 60.217972614379065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, contrastive learning achieves impressive results on self-supervised visual representation learning, but there still lacks a rigorous understanding of its learning dynamics. In this paper, we show that if we cast a contrastive objective equivalently into the feature space, then its learning dynamics admits an interpretable form. Specifically, we show that its gradient descent corresponds to a specific message passing scheme on the corresponding augmentation graph. Based on this perspective, we theoretically characterize how contrastive learning gradually learns discriminative features with the alignment update and the uniformity update. Meanwhile, this perspective also establishes an intriguing connection between contrastive learning and Message Passing Graph Neural Networks (MP-GNNs). This connection not only provides a unified understanding of many techniques independently developed in each community, but also enables us to borrow techniques from MP-GNNs to design new contrastive learning variants, such as graph attention, graph rewiring, jumpy knowledge techniques, etc. We believe that our message passing perspective not only provides a new theoretical understanding of contrastive learning dynamics, but also bridges the two seemingly independent areas together, which could inspire more interleaving studies to benefit from each other. The code is available at https://github.com/PKU-ML/Message-Passing-Contrastive-Learning.
• Abstract（参考訳）: 近年、コントラスト学習は自己指導型視覚表現学習において印象的な成果を上げているが、その学習力学に関する厳密な理解はいまだに欠けている。 本稿では,特徴空間に比較対象を同等に配置した場合,その学習力学は解釈可能な形式を持つことを示す。 具体的には、その勾配勾配は、対応する拡張グラフ上の特定のメッセージパッシングスキームに対応することを示す。 この観点から、コントラスト学習が、アライメント更新と均一性更新によって、差別的特徴を徐々に学習する方法を理論的に特徴づける。 一方で、この視点は、コントラスト学習とメッセージパッシンググラフニューラルネットワーク(mp-gnns)の間の興味深い関係を確立する。 このコネクションは、各コミュニティで独自に開発された多くのテクニックの統一的な理解を提供するだけでなく、MP-GNNの手法を借りて、グラフアテンション、グラフリウィリング、跳躍知識技術など、新しいコントラスト学習の亜種を設計することを可能にする。 メッセージパッシングの観点は、対照的な学習力学の新たな理論的理解を提供するだけでなく、2つの一見独立した領域を橋渡しすることで、相互に利益をもたらすことができると考えている。 コードはhttps://github.com/PKU-ML/Message-Passing-Contrastive-Learningで公開されている。

関連論文リスト

• GPS: Graph Contrastive Learning via Multi-scale Augmented Views from Adversarial Pooling [23.450755275125577]
  自己教師付きグラフ表現学習は、バイオインフォマティクスやソーシャルネットワークなど、様々な分野において、最近かなりの可能性を秘めている。 本稿では,これらの問題に対処するための新しいアプローチとして Graph Pooling ContraSt (GPS) を提案する。 グラフプーリングは、冗長性の除去によってグラフを適応的に粗いものにすることができることから、グラフプーリングを再考し、それを活用して、マルチスケールのポジティブビューを自動的に生成する。
  論文  参考訳（メタデータ） (2024-01-29T10:00:53Z)
• In-context Learning with Transformer Is Really Equivalent to a Contrastive Learning Pattern [11.329953476499712]
  本稿では,逆学習パターンの勾配降下過程としてICLの推論過程を解釈する。 我々の知識を最大限に活用するために、我々の研究は、対照的な学習の観点からICLの理解を提供する最初のものである。
  論文  参考訳（メタデータ） (2023-10-20T01:55:34Z)
• Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network [59.860534520941485]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。 近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。 本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
  論文  参考訳（メタデータ） (2023-04-24T16:17:21Z)
• On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning [8.959800369169798]
  コントラスト学習が文レベルの意味論の学習になぜ役立つのかはよく理解されていない。 コントラスト学習は異方性をもたらし,文内類似度が高いことを示す。 として形式化したものが意味論的意味のあるトークンに対して緩和されていることもわかりました。
  論文  参考訳（メタデータ） (2022-12-18T21:11:49Z)
• Contrastive Learning with Boosted Memorization [36.957895270908324]
  自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。 近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。 本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:54:22Z)
• Unified Contrastive Learning in Image-Text-Label Space [130.31947133453406]
  Unified Contrastive Learning (UniCL)は、意味的に豊かだが差別的な表現を学習する効果的な方法である。 UniCLスタンドアローンは、3つの画像分類データセットにまたがる教師あり学習手法に対抗して、純粋な画像ラベルデータに関する優れた学習者である。
  論文  参考訳（メタデータ） (2022-04-07T17:34:51Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR [2.578242050187029]
  半教師付き学習の分野における最近のブレークスルーは、最先端の従来の教師付き学習手法と一致する結果を得た。 SimCLRは、コンピュータビジョンのための最先端の半教師付き学習フレームワークである。
  論文  参考訳（メタデータ） (2021-08-02T01:37:39Z)
• CoCon: Cooperative-Contrastive Learning [52.342936645996765]
  自己教師付き視覚表現学習は効率的な映像分析の鍵である。 最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。 コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
  論文  参考訳（メタデータ） (2021-04-30T05:46:02Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。