論文の概要: Maximally Useful and Minimally Redundant: The Key to Self Supervised Learning for Imbalanced Data

• arxiv url: http://arxiv.org/abs/2509.08469v1
• Date: Wed, 10 Sep 2025 10:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.385286
• Title: Maximally Useful and Minimally Redundant: The Key to Self Supervised Learning for Imbalanced Data
• Title（参考訳）: 最大限に有用で最小限の冗長性:不均衡データに対する自己指導型学習の鍵
• Authors: Yash Kumar Sharma, Vineet Nair, Wilson Naik,
• Abstract要約: 本研究では,2つの視点の目的を達成するために,固有情報の概念に基づく理論的正当性を提案する。 我々は、自己教師付き不均衡データセット分類において、新しい最先端の精度を実現する。
• 参考スコア（独自算出の注目度）: 3.89136638631143
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The robustness of contrastive self-supervised learning (CSSL) for imbalanced datasets is largely unexplored. CSSL usually makes use of \emph{multi-view} assumptions to learn discriminatory features via similar and dissimilar data samples. CSSL works well on balanced datasets, but does not generalize well for imbalanced datasets. In a very recent paper, as part of future work, Yann LeCun pointed out that the self-supervised multiview framework can be extended to cases involving \emph{more than two views}. Taking a cue from this insight we propose a theoretical justification based on the concept of \emph{mutual information} to support the \emph{more than two views} objective and apply it to the problem of dataset imbalance in self-supervised learning. The proposed method helps extract representative characteristics of the tail classes by segregating between \emph{intra} and \emph{inter} discriminatory characteristics. We introduce a loss function that helps us to learn better representations by filtering out extreme features. Experimental evaluation on a variety of self-supervised frameworks (both contrastive and non-contrastive) also prove that the \emph{more than two view} objective works well for imbalanced datasets. We achieve a new state-of-the-art accuracy in self-supervised imbalanced dataset classification (2\% improvement in Cifar10-LT using Resnet-18, 5\% improvement in Cifar100-LT using Resnet-18, 3\% improvement in Imagenet-LT (1k) using Resnet-50).
• Abstract（参考訳）: 不均衡なデータセットに対するコントラッシブ自己教師学習(CSSL)の堅牢性は、ほとんど解明されていない。 CSSLは通常、類似したデータサンプルと異なるデータサンプルを通じて識別機能を学ぶために、emph{multi-view}仮定を使用する。 CSSLはバランスの取れたデータセットでうまく機能するが、バランスの取れていないデータセットではうまく一般化しない。 非常に最近の論文で、今後の研究の一環として、Yann LeCun氏は、自己教師型マルチビューフレームワークは、 \emph{more than two view} を含むケースにまで拡張可能であることを指摘した。 この知見を引用して, 自己教師型学習におけるデータセット不均衡問題に応用するために, 目的の「emph{more than two view}」を支援するために, 「emph{mutual information}」の概念に基づく理論的正当化を提案する。 提案手法は,emph{intra} と \emph{inter} の識別特性を分離することにより,テールクラスの代表的特徴を抽出する。 極端な機能をフィルタリングすることで、より良い表現を学習するのに役立つロス関数を導入します。 様々な自己監督型フレームワーク(対照的に非対照的)に関する実験的評価は、不均衡なデータセットに対して \emph{more than two view} の目的がうまく機能することを証明している。 Resnet-18を用いたCifar10-LTの2倍、Resnet-18を用いたCifar100-LTの5倍、Resnet-50を用いたImagenet-LTの3倍)。

関連論文リスト

• Identity-Seeking Self-Supervised Representation Learning for Generalizable Person Re-identification [55.1738496692892]
  従来のDG ReID法では、アノテーションのコストが高いため、トレーニングにラベル付きデータを限定的に使用していた。 本稿では,ISR(Identity-seeking Self-supervised Representation Learning)法を提案する。 ISRは、最大重み付き二部マッチング問題としてインスタンスアソシエーションをモデル化することにより、フレーム間画像から正のペアを構築する。 ISRは市場1501で87.0%、MSMT17で56.4%、それぞれ5.0%、19.5%となっている。
  論文  参考訳（メタデータ） (2023-08-17T09:46:27Z)
• A soft nearest-neighbor framework for continual semi-supervised learning [35.957577587090604]
  本稿では,全てのデータサンプルがラベル付けされていない連続的半教師付き学習手法を提案する。 我々は、最も近い隣人の力を利用して、特徴空間を非線形に分割し、基礎となるデータ分布を柔軟にモデル化する。 提案手法は,低解像度画像と高解像度画像の両方で良好に動作し,より複雑なデータセットにシームレスにスケールする。
  論文  参考訳（メタデータ） (2022-12-09T20:03:59Z)
• Balanced Contrastive Learning for Long-Tailed Visual Recognition [32.789465918318925]
  現実のデータは典型的には長い尾の分布を辿り、いくつかの大半がデータの大半を占める。 本稿では,不均衡なデータに対する表現学習に着目した。 バランス付きコントラスト学習(BCL)における新たな損失を提案する。
  論文  参考訳（メタデータ） (2022-07-19T03:48:59Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
  CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。 複数のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-11-23T02:54:57Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Supervised Contrastive Learning [42.27949000093086]
  我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。 教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。 ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
  論文  参考訳（メタデータ） (2020-04-23T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。