論文の概要: Offline Clustering Approach to Self-supervised Learning for
Class-imbalanced Image Data
- arxiv url: http://arxiv.org/abs/2212.11444v1
- Date: Thu, 22 Dec 2022 01:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 13:58:30.439698
- Title: Offline Clustering Approach to Self-supervised Learning for
Class-imbalanced Image Data
- Title（参考訳）: オフラインクラスタリングによるクラス不均衡画像データの自己教師あり学習
- Authors: Hye-min Chang and Sungkyun Chang
- Abstract要約: 1) 自己教師付き事前トレーニングにおいて、クラスバランス問題はいつより一般的か、2) 機能表現のオフラインクラスタリングは、クラスバランスデータの事前トレーニングに役立つか、という2つの研究課題を設定した。
- 参考スコア（独自算出の注目度）: 1.479413555822768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class-imbalanced datasets are known to cause the problem of model being
biased towards the majority classes. In this project, we set up two research
questions: 1) when is the class-imbalance problem more prevalent in
self-supervised pre-training? and 2) can offline clustering of feature
representations help pre-training on class-imbalanced data? Our experiments
investigate the former question by adjusting the degree of {\it
class-imbalance} when training the baseline models, namely SimCLR and SimSiam
on CIFAR-10 database. To answer the latter question, we train each expert model
on each subset of the feature clusters. We then distill the knowledge of expert
models into a single model, so that we will be able to compare the performance
of this model to our baselines.
- Abstract（参考訳）: クラス不均衡データセットは、モデルが多数派クラスに偏っている問題を引き起こすことが知られている。
このプロジェクトでは、2つの研究課題を設定しました
1) 自己指導型事前学習において授業不均衡問題はいつより多いのか?
そして
2) 機能表現のオフラインクラスタリングは、クラス不均衡なデータの事前トレーニングに役立つか?
実験では,CIFAR-10データベース上でベースラインモデル(SimCLRとSimSiam)をトレーニングする場合に,事前質問の度合いを調整して検討した。
後者の質問に答えるために、私たちは各エキスパートモデルを機能クラスタの各サブセットでトレーニングします。
次に、専門家モデルの知識を1つのモデルに絞り込み、このモデルのパフォーマンスをベースラインと比較できるようにします。
関連論文リスト
- Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task [25.38082751323396]
AEF-OCL (Analytic Exemplar-Free Online Continual Learning Algorithm) を提案する。
AEF-OCLは解析的連続学習原理を活用し、大きなバックボーンネットワークによって抽出された特徴の分類器としてリッジ回帰を用いる。
実験結果から, 自動走行SODA10Mデータセットにおいて, 提案手法は, 既往の戦略であるにもかかわらず, 様々な手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-05-28T03:19:15Z) - Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。
トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。
非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文 参考訳（メタデータ） (2023-12-27T15:06:36Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Latent class analysis with weighted responses [0.0]
本稿では、新しい生成モデル、重み付き潜在クラスモデル(WLCM)を提案する。
我々のモデルでは、遅延クラス構造を持つ任意の分布からデータの応答行列を生成することができる。
モデルの同定可能性について検討し,潜在クラスやその他のモデルパラメータを推定する効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-17T04:16:20Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - GMM-IL: Image Classification using Incrementally Learnt, Independent
Probabilistic Models for Small Sample Sizes [0.4511923587827301]
本稿では,視覚的特徴学習と確率モデルを組み合わせた2段階アーキテクチャを提案する。
我々は、ソフトマックスヘッドを用いた等価ネットワークのベンチマークを上回り、サンプルサイズが12以下の場合の精度が向上し、3つの不均衡なクラスプロファイルに対する重み付きF1スコアが向上した。
論文 参考訳（メタデータ） (2022-12-01T15:19:42Z) - Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。
我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。
我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
論文 参考訳（メタデータ） (2022-11-19T20:49:07Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳（メタデータ） (2022-11-03T17:32:34Z) - Multi-Granularity Regularized Re-Balancing for Class Incremental
Learning [32.52884416761171]
ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。
古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。
この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
論文 参考訳（メタデータ） (2022-06-30T11:04:51Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳（メタデータ） (2021-02-01T14:38:54Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳（メタデータ） (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。