論文の概要: DimCL: Dimensional Contrastive Learning For Improving Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2309.11782v1
• Date: Thu, 21 Sep 2023 05:12:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 16:53:03.760967
• Title: DimCL: Dimensional Contrastive Learning For Improving Self-Supervised Learning
• Title（参考訳）: DimCL:自己監督学習を改善するための次元コントラスト学習
• Authors: Thanh Nguyen, Trung Pham, Chaoning Zhang, Tung Luu, Thang Vu and Chang D. Yoo
• Abstract要約: 本稿では,バッチ方向に沿ってではなく,次元方向に沿ってコントラスト学習を行う戦略を提案する。 DimCLは機能の多様性を高めることを目的としており、以前のSSLフレームワークのレギュレータとして機能する。
• 参考スコア（独自算出の注目度）: 40.25324481491231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has gained remarkable success, for which contrastive learning (CL) plays a key role. However, the recent development of new non-CL frameworks has achieved comparable or better performance with high improvement potential, prompting researchers to enhance these frameworks further. Assimilating CL into non-CL frameworks has been thought to be beneficial, but empirical evidence indicates no visible improvements. In view of that, this paper proposes a strategy of performing CL along the dimensional direction instead of along the batch direction as done in conventional contrastive learning, named Dimensional Contrastive Learning (DimCL). DimCL aims to enhance the feature diversity, and it can serve as a regularizer to prior SSL frameworks. DimCL has been found to be effective, and the hardness-aware property is identified as a critical reason for its success. Extensive experimental results reveal that assimilating DimCL into SSL frameworks leads to performance improvement by a non-trivial margin on various datasets and backbone architectures.
• Abstract（参考訳）: 自己教師型学習(SSL)は、対照的な学習(CL)が重要な役割を担っている。 しかし、最近の新しい非CLフレームワークの開発は、高い改善可能性を持つ同等またはより良いパフォーマンスを達成し、研究者はこれらのフレームワークをさらに強化した。 CLを非CLフレームワークに同化することは有益であると考えられているが、実証的な証拠は目に見える改善を示さない。 そこで本研究では,従来のコントラスト学習である次元コントラスト学習(DimCL)において,バッチ方向ではなく,次元方向に沿ってCLを実行する戦略を提案する。 DimCLは機能の多様性を高めることを目的としており、以前のSSLフレームワークのレギュレータとして機能する。 DimCLは有効であることが分かっており、その硬さを認識した性質がその成功の重要な理由として認識されている。 広範囲な実験結果から、dimclをsslフレームワークに同化することで、さまざまなデータセットやバックボーンアーキテクチャの非自明なマージンによるパフォーマンス向上が達成できることが分かった。

関連論文リスト

• Position: Continual Learning Benefits from An Evolving Population over An Unified Model [4.348086726793516]
  本研究では,新しいPCLフレームワークを提案する。 PCLは、ニューラルネットワークアーキテクチャの集団を維持し、進化させることで、継続的学習をアーキテクチャレベルまで拡張する。 PCLは、統一モデルを用いた最先端のリハーサルのないCLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2025-02-10T07:21:44Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)
• On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning [5.123232962822044]
  非対称非競合学習(ANCL)は、自己指導的表現学習において、対照的な学習よりも優れていることが多い。 教師付き表現学習のためのANCL(SupSiamとSupBYOL)について検討し,より優れた表現を実現するためにANCLのラベルを活用する。 分析の結果,ANCLの監督はクラス内ばらつきを低減し,最高の性能を達成するためには,監督の貢献を調整すべきであることが判明した。
  論文  参考訳（メタデータ） (2024-06-16T06:43:15Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。