論文の概要: In Defense of Core-set: A Density-aware Core-set Selection for Active
Learning
- arxiv url: http://arxiv.org/abs/2206.04838v2
- Date: Mon, 13 Jun 2022 01:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 12:25:23.959623
- Title: In Defense of Core-set: A Density-aware Core-set Selection for Active
Learning
- Title（参考訳）: コアセットを擁護する: アクティブラーニングのための密度認識型コアセット選択
- Authors: Yeachan Kim, Bonggun Shin
- Abstract要約: 実世界のアクティブな学習シナリオでは、選択されたサンプルの多様性を考慮することが重要である。
本研究では,密度レンズを用いて特徴空間を解析し,密度認識コアセット(DACS)を提案する。
本手法は, 未ラベル試料の密度を推定し, 主にスパース領域から多種多様な試料を抽出する。
- 参考スコア（独自算出の注目度）: 3.6753274024067593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active learning enables the efficient construction of a labeled dataset by
labeling informative samples from an unlabeled dataset. In a real-world active
learning scenario, considering the diversity of the selected samples is crucial
because many redundant or highly similar samples exist. Core-set approach is
the promising diversity-based method selecting diverse samples based on the
distance between samples. However, the approach poorly performs compared to the
uncertainty-based approaches that select the most difficult samples where
neural models reveal low confidence. In this work, we analyze the feature space
through the lens of the density and, interestingly, observe that locally sparse
regions tend to have more informative samples than dense regions. Motivated by
our analysis, we empower the core-set approach with the density-awareness and
propose a density-aware core-set (DACS). The strategy is to estimate the
density of the unlabeled samples and select diverse samples mainly from sparse
regions. To reduce the computational bottlenecks in estimating the density, we
also introduce a new density approximation based on locality-sensitive hashing.
Experimental results clearly demonstrate the efficacy of DACS in both
classification and regression tasks and specifically show that DACS can produce
state-of-the-art performance in a practical scenario. Since DACS is weakly
dependent on neural architectures, we present a simple yet effective
combination method to show that the existing methods can be beneficially
combined with DACS.
- Abstract（参考訳）: アクティブラーニングは、ラベルのないデータセットから情報サンプルをラベル付けすることで、ラベル付きデータセットの効率的な構築を可能にする。
実世界のアクティブな学習シナリオでは、多くの冗長あるいは非常に類似したサンプルが存在するため、選択されたサンプルの多様性を考慮することが重要である。
コアセットアプローチは、サンプル間の距離に基づいて多様なサンプルを選択する、有望な多様性に基づく手法である。
しかし、このアプローチは、神経モデルが低い信頼性を示す最も難しいサンプルを選択する不確実性に基づくアプローチに比べて、パフォーマンスが劣る。
本研究では, 密度のレンズを通して特徴空間を解析し, 興味深いことに, 局所スパース領域は密度の高い領域よりも情報的なサンプルを持つ傾向にある。
本分析により,密度認識によるコアセットのアプローチが強化され,密度認識コアセット(DACS)が提案される。
この戦略は,未ラベル標本の密度を推定し,主にスパース領域から多種多様な試料を抽出する。
密度推定における計算ボトルネックを削減するため,局所性に敏感なハッシュに基づく新しい密度近似を提案する。
実験により,DACSの分類・回帰作業における有効性が明らかに示され,実用シナリオにおいてDACSが最先端の性能を発揮できることを示す。
DACSはニューラルネットワークアーキテクチャに弱いため,既存の手法とDACSを効果的に組み合わせることができることを示すための,単純かつ効果的な組み合わせ法を提案する。
関連論文リスト
- Learning from Different Samples: A Source-free Framework for Semi-supervised Domain Adaptation [20.172605920901777]
本稿では,異なる対象サンプルを包括的にマイニングするための異なる戦略を利用するフレームワークの設計に焦点をあてる。
そこで本研究では,対象領域における事前学習モデルの半教師付き微調整を実現するための,新しいソースフリーフレームワーク(SOUF)を提案する。
論文 参考訳（メタデータ） (2024-11-11T02:09:32Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。
本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。
CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文 参考訳（メタデータ） (2024-04-22T11:52:40Z) - Towards the Uncharted: Density-Descending Feature Perturbation for Semi-supervised Semantic Segmentation [51.66997548477913]
本稿では,DDFP(Dedentity-Descending Feature Perturbation)という特徴レベルの一貫性学習フレームワークを提案する。
半教師付き学習における低密度分離仮定にインスパイアされた私たちの重要な洞察は、特徴密度はセグメンテーション分類器が探索する最も有望な方向の光を放つことができるということである。
提案したDFFPは、機能レベルの摂動に関する他の設計よりも優れており、Pascal VOCとCityscapesのデータセット上でのアートパフォーマンスの状態を示している。
論文 参考訳（メタデータ） (2024-03-11T06:59:05Z) - Density Matters: Improved Core-set for Active Domain Adaptive
Segmentation [35.58476357071544]
セマンティックセグメンテーションにおいて、高価なアノテーションコストとトレーニングされたモデルのパフォーマンスをバランスさせるソリューションとして、アクティブドメイン適応が登場した。
本研究では,古典的コアセット法の理論的境界を再検討し,その性能が選択したサンプルの局所分布と密接な関係があることを確かめる。
動的マスク付き畳み込みを用いた局所的プロキシ推定器を導入し,境界値の最適化のための密度認識グレディアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-12-15T08:22:36Z) - Optimal Sample Selection Through Uncertainty Estimation and Its
Application in Deep Learning [22.410220040736235]
コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。
提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
論文 参考訳（メタデータ） (2023-09-05T14:06:33Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - MuRAL: Multi-Scale Region-based Active Learning for Object Detection [20.478741635006116]
オブジェクト検出のためのマルチスケール領域ベースアクティブラーニング(MuRAL)と呼ばれる新しい手法を提案する。
MuRALは、様々なスケールの情報領域を特定して、よく学習されたオブジェクトのアノテーションコストを削減する。
提案手法は,Cityscapes および MS COCO データセットの粗粒度および細粒度ベースラインを網羅する。
論文 参考訳（メタデータ） (2023-03-29T12:52:27Z) - ScatterSample: Diversified Label Sampling for Data Efficient Graph
Neural Network Learning [22.278779277115234]
グラフニューラルネットワーク(GNN)トレーニングが高価であるいくつかのアプリケーションでは、新しいインスタンスのラベル付けが高価である。
データ効率のよいアクティブサンプリングフレームワークであるScatterSampleを開発し、アクティブな学習環境下でGNNを訓練する。
5つのデータセットに対する実験により、ScatterSampleは他のGNNのアクティブラーニングベースラインよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2022-06-09T04:05:02Z) - Density-Based Clustering with Kernel Diffusion [59.4179549482505]
単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。
局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
論文 参考訳（メタデータ） (2021-10-11T09:00:33Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。