論文の概要: Contrastive Learning with Orthonormal Anchors (CLOA)
- arxiv url: http://arxiv.org/abs/2403.18699v1
- Date: Wed, 27 Mar 2024 15:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 16:19:17.933346
- Title: Contrastive Learning with Orthonormal Anchors (CLOA)
- Title(参考訳): オルソノーマルアンカー(CLOA)を用いたコントラスト学習
- Authors: Huanran Li, Daniel Pimentel-Alarcón,
- Abstract要約: 本研究では,コントラスト学習における不安定性問題に対処すること,特にInfoNCE損失関数とその導関数について検討する。
我々はこれらの損失関数が制限的な挙動を示すことを批判的に観察し、埋め込みが特異点にマージする傾向にある収束現象を導いた。
この「オーバーフュージョン」効果は、その後の教師あり学習タスクの分類精度に有害である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study focuses on addressing the instability issues prevalent in contrastive learning, specifically examining the InfoNCE loss function and its derivatives. We reveal a critical observation that these loss functions exhibit a restrictive behavior, leading to a convergence phenomenon where embeddings tend to merge into a singular point. This "over-fusion" effect detrimentally affects classification accuracy in subsequent supervised-learning tasks. Through theoretical analysis, we demonstrate that embeddings, when equalized or confined to a rank-1 linear subspace, represent a local minimum for InfoNCE. In response to this challenge, our research introduces an innovative strategy that leverages the same or fewer labeled data than typically used in the fine-tuning phase. The loss we proposed, Orthonormal Anchor Regression Loss, is designed to disentangle embedding clusters, significantly enhancing the distinctiveness of each embedding while simultaneously ensuring their aggregation into dense, well-defined clusters. Our method demonstrates remarkable improvements with just a fraction of the conventional label requirements, as evidenced by our results on CIFAR10 and CIFAR100 datasets.
- Abstract(参考訳): 本研究では,コントラスト学習における不安定性問題に対処すること,特にInfoNCE損失関数とその導関数について検討する。
我々はこれらの損失関数が制限的な挙動を示すことを批判的に観察し、埋め込みが特異点にマージする傾向にある収束現象を導いた。
この「オーバーフュージョン」効果は、その後の教師あり学習タスクの分類精度に有害である。
理論的解析により、ランク1線型部分空間に等化または制限された埋め込みがInfoNCEの局所最小値を表すことを示す。
この課題に応えて、我々は、通常、微調整フェーズで使用されるよりも、同じまたは少ないラベル付きデータを活用する革新的な戦略を導入しました。
提案した損失であるOrthonormal Anchor Regression Lossは、埋め込みクラスタをアンタングル化し、各埋め込みの特異性を著しく向上するとともに、密集した明確に定義されたクラスタへのアグリゲーションを確実にするように設計されている。
CIFAR10およびCIFAR100データセットで得られた結果から,従来のラベル要件のごく一部で顕著な改善が示された。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Latent Spectral Regularization for Continual Learning [8.10380584335063]
本研究では,学習者の潜伏空間の幾何学的特徴について検討する。
潜在空間のラプラシアンスペクトルの弱い要求を強制する幾何正則化器を提案する。
提案手法はCaSpeR(Continuous Spectral Regularizer)と呼ばれ,任意のリハーサルベースのCLアプローチと容易に組み合わせることができることを示す。
論文 参考訳(メタデータ) (2023-01-09T13:56:59Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。
特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。
次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文 参考訳(メタデータ) (2021-08-06T05:20:46Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Spatial Contrastive Learning for Few-Shot Classification [9.66840768820136]
局所的識別性およびクラス非依存性の特徴を学習するための新しい注意に基づく空間コントラスト目標を提案する。
実験により,提案手法は最先端手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-12-26T23:39:41Z) - Extreme Memorization via Scale of Initialization [72.78162454173803]
我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。
一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。
均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
論文 参考訳(メタデータ) (2020-08-31T04:53:11Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。