論文の概要: Contributing Dimension Structure of Deep Feature for Coreset Selection
- arxiv url: http://arxiv.org/abs/2401.16193v1
- Date: Mon, 29 Jan 2024 14:47:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 14:28:46.074892
- Title: Contributing Dimension Structure of Deep Feature for Coreset Selection
- Title（参考訳）: コアセット選択のための深い特徴の寄与次元構造
- Authors: Zhijing Wan, Zhixiang Wang, Yuran Wang, Zheng Wang, Hongyuan Zhu,
Shin'ichi Satoh
- Abstract要約: Coreset selectionは、効率的な学習のための重要なトレーニングサンプルのサブセットを選択することを目指している。
サンプル選択は、パフォーマンス向上におけるサンプルの表現と、オーバーフィッティングを回避するためのサンプルの多様性の役割である。
既存の手法は典型的には類似度の測定値に基づいてデータの表現と多様性を計測する。
- 参考スコア（独自算出の注目度）: 26.759457501199822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coreset selection seeks to choose a subset of crucial training samples for
efficient learning. It has gained traction in deep learning, particularly with
the surge in training dataset sizes. Sample selection hinges on two main
aspects: a sample's representation in enhancing performance and the role of
sample diversity in averting overfitting. Existing methods typically measure
both the representation and diversity of data based on similarity metrics, such
as L2-norm. They have capably tackled representation via distribution matching
guided by the similarities of features, gradients, or other information between
data. However, the results of effectively diverse sample selection are mired in
sub-optimality. This is because the similarity metrics usually simply aggregate
dimension similarities without acknowledging disparities among the dimensions
that significantly contribute to the final similarity. As a result, they fall
short of adequately capturing diversity. To address this, we propose a
feature-based diversity constraint, compelling the chosen subset to exhibit
maximum diversity. Our key lies in the introduction of a novel Contributing
Dimension Structure (CDS) metric. Different from similarity metrics that
measure the overall similarity of high-dimensional features, our CDS metric
considers not only the reduction of redundancy in feature dimensions, but also
the difference between dimensions that contribute significantly to the final
similarity. We reveal that existing methods tend to favor samples with similar
CDS, leading to a reduced variety of CDS types within the coreset and
subsequently hindering model performance. In response, we enhance the
performance of five classical selection methods by integrating the CDS
constraint. Our experiments on three datasets demonstrate the general
effectiveness of the proposed method in boosting existing methods.
- Abstract（参考訳）: Coreset selectionは、効率的な学習のための重要なトレーニングサンプルのサブセットを選択することを目指している。
ディープラーニングでは、特にトレーニングデータセットサイズの増加によって、注目を集めている。
サンプルの選択は、パフォーマンス向上におけるサンプルの表現と、オーバーフィッティング回避におけるサンプルの多様性の役割である。
既存の手法は通常、L2-ノルムのような類似度指標に基づいてデータの表現と多様性を計測する。
それらは、特徴、勾配、あるいはデータ間の他の情報の類似性によって導かれる分布マッチングを通じて、表現に取り組むことができる。
しかし, 有効多種多様な試料選択の結果は準最適に反映される。
これは、通常、類似度メトリクスは、最終類似度に大きく寄与する次元間の差を認めずに、単に集合次元の類似度を集約するからである。
その結果、多様性を適切にとらえることができない。
そこで本稿では,特徴に基づく多様性制約を提案し,選択したサブセットが最大多様性を示すように促す。
私たちの鍵は、新しい寄与次元構造(cds)メトリックの導入にあります。
高次元特徴の全体的な類似度を測定する類似度指標と異なり、cds計量は特徴次元における冗長性の低減だけでなく、最終類似度に大きく寄与する次元間の差も考慮している。
既存の手法では,CDSに類似したサンプルが好まれる傾向にあり,コアセット内のCDSタイプが減少し,モデル性能が低下する傾向にある。
これに対して,CDS制約を統合することにより,5種類の古典的選択手法の性能を向上させる。
3つのデータセットに対する実験により,提案手法の有効性を実証した。
関連論文リスト
- Unsupervised Feature Selection Algorithm Based on Dual Manifold Re-ranking [5.840228332438659]
本稿では,2次多様体再ランク付け(DMRR)に基づく教師なし特徴選択アルゴリズムを提案する。
異なる類似度行列は、サンプル間、サンプル間、特徴間、特徴間の多様体構造を記述するために構築される。
DMRRを3つの教師なし特徴選択アルゴリズムと2つの教師なし特徴選択後処理アルゴリズムと比較することにより、異なるサンプルの重要性情報と、より優れた特徴選択を実現するために、サンプルと特徴の二重関係が有用であることを確認した。
論文 参考訳（メタデータ） (2024-10-27T09:29:17Z) - Out-of-Distribution Detection via Deep Multi-Comprehension Ensemble [11.542472900306745]
マルチComprehension (MC) Ensemble は,OOD (Out-of-Distribution) 特徴表現を拡大するための戦略として提案されている。
OOD検出におけるMC Ensemble戦略の優れた性能を示す実験結果を得た。
これにより,提案手法がトレーニング分布外のインスタンスを検出できるモデルの性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2024-03-24T18:43:04Z) - Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。
マルチモーダルデータに適した深層学習一クラス分類法を提案する。
論文 参考訳（メタデータ） (2023-09-25T12:31:18Z) - Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions [11.121652649243119]
拡散モデルは、データ生成において顕著な多様性のため、データ拡張において広く採用されている。
詳細強化拡散モデル(DRDM)と呼ばれる新しい手法を提案する。
大規模モデルの豊富な知識を微粒化に活用し、識別的意味的組換え(DSR)と空間的知識参照(SKR)の2つの重要な構成要素を含む。
論文 参考訳（メタデータ） (2023-09-15T01:28:59Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。
また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。
提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
論文 参考訳（メタデータ） (2023-01-15T16:19:18Z) - Parallel feature selection based on the trace ratio criterion [4.30274561163157]
本研究は,PFSTを用いた並列特徴選択という,新しい並列特徴選択手法を提案する。
提案手法は,Fisher's Discriminant Analysisで用いられるクラス分離性の尺度であるトレース基準を用いて特徴的有用性を評価する。
実験により,本手法は,比較対象の他の手法による時間的差のごく一部で,少数の特徴セットを生成できることが確認された。
論文 参考訳（メタデータ） (2022-03-03T10:50:33Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳（メタデータ） (2022-01-31T13:01:37Z) - A Novel Intrinsic Measure of Data Separability [0.0]
機械学習では、分類器のパフォーマンスはデータセットの分離性と複雑さに依存する。
私たちは、DSI(Distance-based Separability Index)という本質的な尺度を作成します。
DSIは,データセットの分布が任意の次元に対して同一であるか否かを示す。
論文 参考訳（メタデータ） (2021-09-11T04:20:08Z) - Spherical Feature Transform for Deep Metric Learning [58.35971328774927]
本研究は,新しい球面特徴変換手法を提案する。
これは、クラス間の同一共分散の仮定を、超球面上の異なるクラスの類似共分散の仮定に緩和する。
本研究では,2つの異なる変換間の関係について,簡便かつ効果的な学習法と深度解析を行う。
論文 参考訳（メタデータ） (2020-08-04T11:32:23Z) - K-Shot Contrastive Learning of Visual Features with Multiple Instance
Augmentations [67.46036826589467]
個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。
異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。
提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
論文 参考訳（メタデータ） (2020-07-27T04:56:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。