論文の概要: Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification
- arxiv url: http://arxiv.org/abs/2404.17173v1
- Date: Fri, 26 Apr 2024 06:00:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 13:54:01.476263
- Title: Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification
- Title（参考訳）: ログを超えて探索する:半スーパービジョン分類のための埋め込みに基づく階層的動的ラベル付け
- Authors: Yanbiao Ma, Licheng Jiao, Fang Liu, Lingling Li, Shuyuan Yang, Xu Liu,
- Abstract要約: モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
- 参考スコア（独自算出の注目度）: 49.09505771145326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In semi-supervised learning, methods that rely on confidence learning to generate pseudo-labels have been widely proposed. However, increasing research finds that when faced with noisy and biased data, the model's representation network is more reliable than the classification network. Additionally, label generation methods based on model predictions often show poor adaptability across different datasets, necessitating customization of the classification network. Therefore, we propose a Hierarchical Dynamic Labeling (HDL) algorithm that does not depend on model predictions and utilizes image embeddings to generate sample labels. We also introduce an adaptive method for selecting hyperparameters in HDL, enhancing its versatility. Moreover, HDL can be combined with general image encoders (e.g., CLIP) to serve as a fundamental data processing module. We extract embeddings from datasets with class-balanced and long-tailed distributions using pre-trained semi-supervised models. Subsequently, samples are re-labeled using HDL, and the re-labeled samples are used to further train the semi-supervised models. Experiments demonstrate improved model performance, validating the motivation that representation networks are more reliable than classifiers or predictors. Our approach has the potential to change the paradigm of pseudo-label generation in semi-supervised learning.
- Abstract（参考訳）: 半教師付き学習では、疑似ラベルを生成するための信頼度学習に依存する手法が広く提案されている。
しかし, ノイズやバイアスのあるデータに直面すると, モデルの表現ネットワークは分類ネットワークよりも信頼性が高いことがわかった。
さらに、モデル予測に基づくラベル生成手法は、分類ネットワークのカスタマイズを必要とするため、異なるデータセット間での適応性が低いことを示すことが多い。
そこで本研究では,モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
また,HDLにおけるハイパーパラメータの適応的選択法を導入し,その汎用性を高めた。
さらに、HDLは一般的な画像エンコーダ(例えばCLIP)と組み合わせて、基本的なデータ処理モジュールとして機能させることができる。
我々は,事前学習した半教師付きモデルを用いて,クラスバランスと長い尾の分布を持つデータセットから埋め込みを抽出する。
その後、サンプルをHDLで再ラベルし、半教師付きモデルをさらに訓練するために再ラベルしたサンプルを使用する。
実験ではモデルの性能が向上し、表現ネットワークが分類器や予測器よりも信頼性が高いという動機が検証された。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
関連論文リスト
- Fusing Conditional Submodular GAN and Programmatic Weak Supervision [5.300742881753571]
PWS(Programmatic Weak Supervision)と生成モデルは、データ収集や手動のアノテーションプロセスに頼ることなく、既存のデータセットの有用性を最大化する重要なツールとして機能する。
PWSは、データの基礎となるクラスラベルを推定するために様々な弱い監視技術を使用し、生成モデルは、主に与えられたデータセットの基盤分布からのサンプリングに集中する。
最近、WSGANは2つのモデルを融合させるメカニズムを提案した。
論文 参考訳（メタデータ） (2023-12-16T07:49:13Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - NorMatch: Matching Normalizing Flows with Discriminative Classifiers for
Semi-Supervised Learning [8.749830466953584]
Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。
この作業では、NorMatchというSSLの新しいフレームワークを紹介します。
数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
論文 参考訳（メタデータ） (2022-11-17T15:39:18Z) - Gaussian Mixture Variational Autoencoder with Contrastive Learning for
Multi-Label Classification [27.043136219527767]
本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。
教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。
学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
論文 参考訳（メタデータ） (2021-12-02T04:23:34Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳（メタデータ） (2021-11-10T07:07:54Z) - Semi-supervised Neural Chord Estimation Based on a Variational
Autoencoder with Latent Chord Labels and Features [18.498244371257304]
本稿では,自動コード推定のための統計的手法について述べる。
コードアノテーションの入手の有無にかかわらず、音楽信号の有効利用が可能となる。
論文 参考訳（メタデータ） (2020-05-14T15:58:36Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳（メタデータ） (2019-12-30T17:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。