論文の概要: Heterogeneous Contrastive Learning for Foundation Models and Beyond

• arxiv url: http://arxiv.org/abs/2404.00225v1
• Date: Sat, 30 Mar 2024 02:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 06:36:22.145600
• Title: Heterogeneous Contrastive Learning for Foundation Models and Beyond
• Title（参考訳）: 基礎モデルとそれを超える不均一なコントラスト学習
• Authors: Lecheng Zheng, Baoyu Jing, Zihao Li, Hanghang Tong, Jingrui He,
• Abstract要約: ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
• 参考スコア（独自算出の注目度）: 73.74745053250619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of big data and Artificial Intelligence, an emerging paradigm is to utilize contrastive self-supervised learning to model large-scale heterogeneous data. Many existing foundation models benefit from the generalization capability of contrastive self-supervised learning by learning compact and high-quality representations without relying on any label information. Amidst the explosive advancements in foundation models across multiple domains, including natural language processing and computer vision, a thorough survey on heterogeneous contrastive learning for the foundation model is urgently needed. In response, this survey critically evaluates the current landscape of heterogeneous contrastive learning for foundation models, highlighting the open challenges and future trends of contrastive learning. In particular, we first present how the recent advanced contrastive learning-based methods deal with view heterogeneity and how contrastive learning is applied to train and fine-tune the multi-view foundation models. Then, we move to contrastive learning methods for task heterogeneity, including pretraining tasks and downstream tasks, and show how different tasks are combined with contrastive learning loss for different purposes. Finally, we conclude this survey by discussing the open challenges and shedding light on the future directions of contrastive learning.
• Abstract（参考訳）: ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 多くの既存の基礎モデルは、ラベル情報に頼らずにコンパクトで高品質な表現を学習することで、対照的な自己教師付き学習の一般化能力の恩恵を受ける。 自然言語処理やコンピュータビジョンなど,基礎モデルの爆発的な進歩の中で,基礎モデルの異種コントラスト学習の徹底的な調査が急務である。 本調査は,基礎モデルにおける異種コントラスト学習の現状を批判的に評価し,オープン課題とコントラスト学習の今後の動向を明らかにする。 特に、近年の高度なコントラスト学習に基づく手法が、ビューの不均一性や、マルチビュー基礎モデルの訓練と微調整にコントラスト学習がどのように適用されているかを示す。 そして、タスク前処理や下流タスクを含むタスクの不均一性に対するコントラスト学習手法に移行し、異なる目的のために異なるタスクがコントラスト学習損失とどのように組み合わせられているかを示す。 最後に、オープンな課題について議論し、対照的な学習の今後の方向性に光を当てることで、この調査を締めくくります。

関連論文リスト

• Big Cooperative Learning [7.958840888809145]
  基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。 本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
  論文  参考訳（メタデータ） (2024-07-31T03:59:14Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [51.43538150982291]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Time-Series Contrastive Learning against False Negatives and Class Imbalance [17.43801009251228]
  我々は理論分析を行い、それらが基本的な問題、つまりInfoNCEの損失に基づくフレームワークに固有の偽陰性とクラス不均衡を見落としていることを発見した。 インスタンス識別タスクに携わるモデルに対して,SimCLRフレームワークに根ざした直感的な修正を導入する。 半教師付き一貫性分類を行い、マイノリティクラスの代表的能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T08:38:03Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Heterogeneous Representation Learning: A Review [66.12816399765296]
  不均一表現学習(HRL)には、いくつかの独特な課題がある。 異種入力を用いて既存の学習環境をモデル化可能な統合学習フレームワークを提案する。 HRLでは触れられていない課題と今後の研究方向性を強調します。
  論文  参考訳（メタデータ） (2020-04-28T05:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。