論文の概要: Foundation Model Makes Clustering a Better Initialization for Active
Learning
- arxiv url: http://arxiv.org/abs/2402.02561v1
- Date: Sun, 4 Feb 2024 16:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:04:07.091223
- Title: Foundation Model Makes Clustering a Better Initialization for Active
Learning
- Title(参考訳): foundation modelは、アクティブラーニングのためのクラスタリングをより良い初期化にする
- Authors: Han Yuan and Chuan Hong
- Abstract要約: アクティブラーニングは、アノテートするためにラベルのないデータセットから最も情報に富んだサンプルを選択する。
以前の研究のほとんどはランダムサンプリングやナイーブクラスタリングに頼っている。
本稿では,基礎モデルとクラスタリング手法を統合して,アクティブな学習のためのサンプルを選択することを提案する。
- 参考スコア(独自算出の注目度): 6.626575189360845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active learning selects the most informative samples from the unlabeled
dataset to annotate in the context of a limited annotation budget. While
numerous methods have been proposed for subsequent sample selection based on an
initialized model, scant attention has been paid to the indispensable phase of
active learning: selecting samples for model initialization. Most of the
previous studies resort to random sampling or naive clustering. However, random
sampling is prone to fluctuation, and naive clustering suffers from convergence
speed, particularly when dealing with high-dimensional data such as imaging
data. In this work, we propose to integrate foundation models with clustering
methods to select samples for active learning initialization. Foundation models
refer to those trained on massive datasets by the self-supervised paradigm and
capable of generating informative and compacted embeddings for various
downstream tasks. Leveraging these embeddings to replace raw features such as
pixel values, clustering quickly converges and identifies better initial
samples. For a comprehensive comparison, we included a classic
ImageNet-supervised model to acquire embeddings. Experiments on two clinical
tasks of image classification and segmentation demonstrated that foundation
model-based clustering efficiently pinpointed informative initial samples,
leading to models showcasing enhanced performance than the baseline methods. We
envisage that this study provides an effective paradigm for future active
learning.
- Abstract(参考訳): アクティブラーニングは、限定されたアノテーション予算の文脈で注釈付きデータセットから最も有益なサンプルを選択する。
初期化モデルに基づくサンプル選択のための多くの手法が提案されているが、アクティブラーニングの必須フェーズであるモデル初期化のためのサンプルの選択に注意が払われている。
以前の研究のほとんどはランダムサンプリングやナイーブクラスタリングに頼っている。
しかし、ランダムサンプリングは変動しがちであり、特に画像データなどの高次元データを扱う場合、ナイーブクラスタリングは収束速度に悩まされる。
本研究では,アクティブラーニング初期化のためのサンプル選択のための基盤モデルとクラスタリング手法を統合することを提案する。
基礎モデルは、自己監督パラダイムによって大規模データセットで訓練されたものを指し、様々な下流タスクに情報とコンパクトな埋め込みを生成することができる。
これらの埋め込みを利用してピクセル値などの生の機能を置き換えることで、クラスタリングは素早く収束し、より良い初期サンプルを識別する。
総合的な比較のために、埋め込みを取得するための古典的なImageNet教師付きモデルを含む。
画像分類とセグメンテーションの2つの臨床課題に関する実験により、基礎モデルに基づくクラスタリングが情報的初期サンプルを効果的にピンポイントし、ベースライン法よりも優れた性能を示した。
我々は,本研究が将来のアクティブラーニングに有効なパラダイムを提供すると考えている。
関連論文リスト
- Diffusion Models Beat GANs on Image Classification [37.70821298392606]
拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。
本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。
注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
論文 参考訳(メタデータ) (2023-07-17T17:59:40Z) - Interpretable Deep Clustering [3.9596068699962315]
本稿では,インスタンスとクラスタレベルでの解釈可能なクラスタ割り当てを予測する,新たなディープラーニングフレームワークを提案する。
提案手法は,合成データと実データを用いてクラスタ割り当てを確実に予測できることを示す。
論文 参考訳(メタデータ) (2023-06-07T21:08:09Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Unified Multi-View Orthonormal Non-Negative Graph Based Clustering
Framework [74.25493157757943]
我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。
また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
論文 参考訳(メタデータ) (2022-11-03T08:18:27Z) - Exploiting Diversity of Unlabeled Data for Label-Efficient
Semi-Supervised Active Learning [57.436224561482966]
アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。
アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。
また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
論文 参考訳(メタデータ) (2022-07-25T16:11:55Z) - ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal
Self-Ensemble for Active Learning [7.94190631530826]
トレーニングプロセスの効率を最大化するためには、アクティブラーニング(AL)がますます重要になっている。
学生教師の一貫性に基づくALアルゴリズム(ST-CoNAL)を提案する。
CIFAR-10、CIFAR-100、Caltech-256、Tiny ImageNetの画像分類タスクに対して行われた実験は、提案したSTCoNALが既存の取得方法よりも大幅に優れた性能を示した。
論文 参考訳(メタデータ) (2022-07-05T17:25:59Z) - Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。
移行学習にインスパイアされたアプローチを用いてこの問題に対処する。
本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
論文 参考訳(メタデータ) (2022-01-18T18:53:10Z) - Towards General and Efficient Active Learning [20.888364610175987]
アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。
本稿では,新しい汎用能動学習法(GEAL)を提案する。
提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
論文 参考訳(メタデータ) (2021-12-15T08:35:28Z) - Few-shot Classification via Adaptive Attention [93.06105498633492]
ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。
実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
論文 参考訳(メタデータ) (2020-08-06T05:52:59Z) - Set Based Stochastic Subsampling [85.5331107565578]
本稿では,2段階間ニューラルサブサンプリングモデルを提案する。
画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-25T07:36:47Z) - Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。
次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
論文 参考訳(メタデータ) (2020-04-01T09:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。