論文の概要: Aligned Contrastive Loss for Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2506.01071v1
• Date: Sun, 01 Jun 2025 16:19:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.918367
• Title: Aligned Contrastive Loss for Long-Tailed Recognition
• Title（参考訳）: 長期音声認識におけるコントラスト損失のアライメント
• Authors: Jiali Ma, Jiequan Cui, Maeno Kazuki, Lakshmi Subramanian, Karlekar Jayashree, Sugiri Pranata, Hanwang Zhang,
• Abstract要約: そこで本研究では,ACL(Aligned Contrastive Learning)アルゴリズムを提案する。 これらの結果から,マルチビュー学習が性能を向上させる一方で,コントラスト学習はビュー数の増加とともにモデル一般化を継続的に向上させるものではないことが示唆された。 我々のACLアルゴリズムは,これらの問題を排除し,複数のベンチマークで高い性能を示すように設計されている。
• 参考スコア（独自算出の注目度）: 43.33186901322387
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose an Aligned Contrastive Learning (ACL) algorithm to address the long-tailed recognition problem. Our findings indicate that while multi-view training boosts the performance, contrastive learning does not consistently enhance model generalization as the number of views increases. Through theoretical gradient analysis of supervised contrastive learning (SCL), we identify gradient conflicts, and imbalanced attraction and repulsion gradients between positive and negative pairs as the underlying issues. Our ACL algorithm is designed to eliminate these problems and demonstrates strong performance across multiple benchmarks. We validate the effectiveness of ACL through experiments on long-tailed CIFAR, ImageNet, Places, and iNaturalist datasets. Results show that ACL achieves new state-of-the-art performance.
• Abstract（参考訳）: 本稿では,長鎖認識問題に対処するアラインed Contrastive Learning (ACL) アルゴリズムを提案する。 これらの結果から,マルチビュー学習が性能を向上させる一方で,コントラスト学習はビュー数の増加とともにモデル一般化を継続的に向上させるものではないことが示唆された。 教師付きコントラスト学習(SCL)の理論的勾配解析を通じて、勾配の衝突と、正対と負対の間の不均衡なアトラクションと反発勾配を根本問題として同定する。 我々のACLアルゴリズムは,これらの問題を排除し,複数のベンチマークで高い性能を示すように設計されている。 長い尾を持つCIFAR, ImageNet, Places, iNaturalistのデータセットを用いた実験により, ACLの有効性を検証する。 その結果, ACLは新たな最先端性能を実現することがわかった。

関連論文リスト

• On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning [5.123232962822044]
  非対称非競合学習(ANCL)は、自己指導的表現学習において、対照的な学習よりも優れていることが多い。 教師付き表現学習のためのANCL(SupSiamとSupBYOL)について検討し,より優れた表現を実現するためにANCLのラベルを活用する。 分析の結果,ANCLの監督はクラス内ばらつきを低減し,最高の性能を達成するためには,監督の貢献を調整すべきであることが判明した。
  論文  参考訳（メタデータ） (2024-06-16T06:43:15Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Understanding Multimodal Contrastive Learning and Incorporating Unpaired Data [19.72282903349282]
  マルチモーダル・コントラッシブ・ラーニング(MMCL)における非線形損失関数の一般クラスを示す。 MMCLの特徴学習能力は,各モダリティに適用される一助的コントラスト学習能力よりも優れていることを示す。 追加の未ペアデータにアクセスできる場合、追加の未ペアデータを含む新たなMMCL損失を提案する。
  論文  参考訳（メタデータ） (2023-02-13T10:11:05Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• An Empirical Study of Graph Contrastive Learning [17.246488437677616]
  グラフコントラスト学習は、人間のアノテーションなしでグラフ表現を学習するための新しいパラダイムを確立する。 一般的なGCLパラダイムでは,拡張関数,コントラストモード,コントラスト目的,負のマイニング技術など,いくつかの重要な設計上の考慮事項を識別する。 今後の研究の促進とGCLアルゴリズムの実装を容易にするため,モジュール化されたCLコンポーネント,標準化された評価,実験管理を特徴とする,使い易いライブラリPyGCLを開発した。
  論文  参考訳（メタデータ） (2021-09-02T17:43:45Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。