論文の概要: Temperature Schedules for Self-Supervised Contrastive Methods on Long-Tail Data

• arxiv url: http://arxiv.org/abs/2303.13664v1
• Date: Thu, 23 Mar 2023 20:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 16:31:01.301509
• Title: Temperature Schedules for Self-Supervised Contrastive Methods on Long-Tail Data
• Title（参考訳）: ロングテールデータにおける自己教師付きコントラスト法の温度スケジュール
• Authors: Anna Kukleva, Moritz B\"ohle, Bernt Schiele, Hilde Kuehne, Christian Rupprecht
• Abstract要約: 本稿では,ロングテールデータ上での自己教師付き学習(SSL)の行動分析を行う。 大きな$tau$はグループ的な差別を強調するのに対し、小さな$tau$はより高いインスタンスの差別をもたらす。 動的$tau$を用いて、簡単なコサインスケジュールが学習表現に大きな改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 87.77128754860983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most approaches for self-supervised learning (SSL) are optimised on curated balanced datasets, e.g. ImageNet, despite the fact that natural data usually exhibits long-tail distributions. In this paper, we analyse the behaviour of one of the most popular variants of SSL, i.e. contrastive methods, on long-tail data. In particular, we investigate the role of the temperature parameter $\tau$ in the contrastive loss, by analysing the loss through the lens of average distance maximisation, and find that a large $\tau$ emphasises group-wise discrimination, whereas a small $\tau$ leads to a higher degree of instance discrimination. While $\tau$ has thus far been treated exclusively as a constant hyperparameter, in this work, we propose to employ a dynamic $\tau$ and show that a simple cosine schedule can yield significant improvements in the learnt representations. Such a schedule results in a constant `task switching' between an emphasis on instance discrimination and group-wise discrimination and thereby ensures that the model learns both group-wise features, as well as instance-specific details. Since frequent classes benefit from the former, while infrequent classes require the latter, we find this method to consistently improve separation between the classes in long-tail data without any additional computational cost.
• Abstract（参考訳）: 自己教師付き学習(SSL)のほとんどのアプローチは、通常、自然データが長い尾の分布を示すという事実にもかかわらず、例えばImageNetのようなキュレートされたバランスの取れたデータセットに最適化されている。 本稿では,SSLの最も普及している変種のひとつ,すなわちロングテールデータに対するコントラスト的手法の振る舞いを分析する。 特に、平均距離最大化のレンズを通して損失を分析することで、対照的な損失における温度パラメータ $\tau$ の役割を調べ、大きな$\tau$ がグループワイド判別に重点を置いているのに対して、小さな$\tau$ はより高いインスタンス識別をもたらす。 これまでのところ、$\tau$は定数ハイパーパラメータとしてのみ扱われてきたが、この研究では、動的$\tau$を採用し、単純なコサインスケジュールが学習した表現に大きな改善をもたらすことを示す。 このようなスケジュールは、インスタンスの識別とグループ単位の識別に重点を置いている間、一定の「タスク切替」をもたらすため、モデルがグループ単位の特徴とインスタンス固有の詳細の両方を学ぶことが保証される。 頻繁なクラスは前者から恩恵を受けるが、後者を必要とするクラスは少ないため、この手法により、余分な計算コストを伴わずにロングテールデータ内のクラス間の分離を一貫して改善できる。

関連論文リスト

• Dataset Awareness is not Enough: Implementing Sample-level Tail Encouragement in Long-tailed Self-supervised Learning [16.110763554788445]
  擬似ラベル情報を利用して動的温度と再重み付け戦略を推進し、自己教師付き長期学習に擬似ラベルを導入する。 我々は,温度パラメータにおける量認識の欠如を分析し,この不足を補うために再重み付けを用いて,サンプルレベルで最適なトレーニングパターンを実現する。
  論文  参考訳（メタデータ） (2024-10-30T10:25:22Z)
• Data curation via joint example selection further accelerates multimodal learning [3.329535792151987]
  サンプルを個別に選択するよりも,データのバッチを共同で選択することが学習に有効であることを示す。 このようなバッチを選択するための単純かつトラクタブルなアルゴリズムを導出し、個別に優先順位付けされたデータポイントを超えてトレーニングを著しく加速する。
  論文  参考訳（メタデータ） (2024-06-25T16:52:37Z)
• $\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning [7.04736023670375]
  グラディエントベースおよびタスク非依存マシンUnlearning(nabla tau$)を紹介する。 $nabla tau$は、残りのデータに対して標準の勾配勾配を使いながら、忘れられるデータに適応的な勾配勾配を適用します。 我々は、確立されたメンバーシップ推論攻撃指標を用いて、フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2024-03-21T12:11:26Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems [102.95119281306893]
  我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
  論文  参考訳（メタデータ） (2022-06-24T09:13:39Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。