論文の概要: DimCL: Dimensional Contrastive Learning For Improving Self-Supervised
Learning
- arxiv url: http://arxiv.org/abs/2309.11782v1
- Date: Thu, 21 Sep 2023 05:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 16:53:03.760967
- Title: DimCL: Dimensional Contrastive Learning For Improving Self-Supervised
Learning
- Title(参考訳): DimCL:自己監督学習を改善するための次元コントラスト学習
- Authors: Thanh Nguyen, Trung Pham, Chaoning Zhang, Tung Luu, Thang Vu and Chang
D. Yoo
- Abstract要約: 本稿では,バッチ方向に沿ってではなく,次元方向に沿ってコントラスト学習を行う戦略を提案する。
DimCLは機能の多様性を高めることを目的としており、以前のSSLフレームワークのレギュレータとして機能する。
- 参考スコア(独自算出の注目度): 40.25324481491231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) has gained remarkable success, for which
contrastive learning (CL) plays a key role. However, the recent development of
new non-CL frameworks has achieved comparable or better performance with high
improvement potential, prompting researchers to enhance these frameworks
further. Assimilating CL into non-CL frameworks has been thought to be
beneficial, but empirical evidence indicates no visible improvements. In view
of that, this paper proposes a strategy of performing CL along the dimensional
direction instead of along the batch direction as done in conventional
contrastive learning, named Dimensional Contrastive Learning (DimCL). DimCL
aims to enhance the feature diversity, and it can serve as a regularizer to
prior SSL frameworks. DimCL has been found to be effective, and the
hardness-aware property is identified as a critical reason for its success.
Extensive experimental results reveal that assimilating DimCL into SSL
frameworks leads to performance improvement by a non-trivial margin on various
datasets and backbone architectures.
- Abstract(参考訳): 自己教師型学習(SSL)は、対照的な学習(CL)が重要な役割を担っている。
しかし、最近の新しい非CLフレームワークの開発は、高い改善可能性を持つ同等またはより良いパフォーマンスを達成し、研究者はこれらのフレームワークをさらに強化した。
CLを非CLフレームワークに同化することは有益であると考えられているが、実証的な証拠は目に見える改善を示さない。
そこで本研究では,従来のコントラスト学習である次元コントラスト学習(DimCL)において,バッチ方向ではなく,次元方向に沿ってCLを実行する戦略を提案する。
DimCLは機能の多様性を高めることを目的としており、以前のSSLフレームワークのレギュレータとして機能する。
DimCLは有効であることが分かっており、その硬さを認識した性質がその成功の重要な理由として認識されている。
広範囲な実験結果から、dimclをsslフレームワークに同化することで、さまざまなデータセットやバックボーンアーキテクチャの非自明なマージンによるパフォーマンス向上が達成できることが分かった。
関連論文リスト
- Let's Learn Step by Step: Enhancing In-Context Learning Ability with
Curriculum Learning [10.053004550486214]
デモオーダリングは,大規模言語モデル(LLM)の性能に大きく影響する。
我々は,ICLの簡易かつ効果的な実演順序付け手法であるICCLを提唱する。
論文 参考訳(メタデータ) (2024-02-16T14:55:33Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳(メタデータ) (2023-07-28T09:03:19Z) - What Constitutes Good Contrastive Learning in Time-Series Forecasting? [10.44543726728613]
自己教師付きコントラスト学習(SSCL)は、様々な領域にわたる表現学習において顕著に改善されている。
本稿では,様々なSSCLアルゴリズムの有効性,学習戦略,モデルアーキテクチャ,それらの相互作用を包括的に分析することを目的とする。
平均二乗誤差(MSE)損失とSSCLを用いたトランスフォーマーモデルのエンドツーエンドトレーニングが時系列予測において最も効果的な手法として現れることを示す。
論文 参考訳(メタデータ) (2023-06-21T08:05:05Z) - ArCL: Enhancing Contrastive Learning with Augmentation-Robust
Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。
対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。
これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-03-02T09:26:20Z) - A Survey on In-context Learning [56.40261564926631]
In-context Learning (ICL)は自然言語処理のための新しいパラダイムである
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
そこで我々は,訓練戦略,実証設計戦略,関連する分析など,高度な手法を整理し,議論する。
論文 参考訳(メタデータ) (2022-12-31T15:57:09Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - Interventional Contrastive Learning with Meta Semantic Regularizer [28.708395209321846]
コントラスト学習(CL)に基づく自己教師型学習モデルでは,視覚的表現を相互に学習する。
CLモデルがフルイメージでトレーニングされる場合、フルイメージでテストされるパフォーマンスは、フォアグラウンドのモデルよりも優れている。
CLモデルが前景領域で訓練された場合、全画像でテストされた性能は前景領域よりも悪い。
論文 参考訳(メタデータ) (2022-06-29T15:02:38Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - Decoupled Contrastive Learning [23.25775900388382]
我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。
NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。
われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
論文 参考訳(メタデータ) (2021-10-13T16:38:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。