論文の概要: Few-Medoids: An Embarrassingly Simple Coreset Selection Method for Few-Shot Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2607.05891v1
• Date: Tue, 07 Jul 2026 06:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.411501
• Title: Few-Medoids: An Embarrassingly Simple Coreset Selection Method for Few-Shot Knowledge Distillation
• Title（参考訳）: Few-Medoids:Few-Shotナレッジ蒸留のための恥ずかしいほど単純なコアセット選択法
• Abstract要約: Few-medoidsは、各クラスのセントロイドに最も近いサンプルを選択する、恥ずかしいほど単純なコアセット選択戦略である。 我々は4つのデータセットに対する広範なKD実験を行い、幅広い画像分類問題をカバーした。 実験結果から,無数のメドロイドが無作為な選択ベースラインを一貫して超えることが示唆された。
• 参考スコア（独自算出の注目度）: 26.200974332824966
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Coreset selection aims to identify a small and highly representative subset of a massive dataset for efficient model training. The problem remains challenging even in the few-shot knowledge distillation (KD) setup, where a full-scale pre-trained teacher informs the student network. Typical sample selection strategies often struggle to surpass the random selection baseline. In this paper, we showcase few-medoids, an embarrassingly simple coreset selection strategy that chooses the samples closest to the centroid (average image) of each class. We present extensive KD experiments on four datasets, covering a wide range of image classification problems, and three teacher-student model pairs, comprising both convolutional and transformer networks. Although the proposed method is embarrassingly simple, our empirical results indicate that few-medoids is able to consistently surpass the random selection baseline, as well as the other coreset selection strategies. We therefore consider that few-medoids can be used as a drop-in replacement for commonly-used baselines (e.g. herding or k-center Greedy), in future research on coreset selection. To reproduce the reported results, we publicly release our code at https://github.com/CemilAndreiDilmac/Few-Shot-KD-Coreset.
• Abstract（参考訳）: Coreset選択は、効率的なモデルトレーニングのために、巨大なデータセットの小さくて非常に代表的なサブセットを特定することを目的としている。 この問題は、フルスケールの教員が学生ネットワークに通知する、数発の知識蒸留(KD)セットアップにおいても依然として困難である。 典型的なサンプル選択戦略は、しばしばランダムな選択基準を超えるのに苦労する。 本稿では,各クラスのセントロイド(平均画像)に最も近いサンプルを選択するための,恥ずかしいほど単純なコアセット選択戦略であるスメロイドについて紹介する。 筆者らは,4つのデータセットに対する広範なKD実験を行い,画像分類問題と,畳み込みネットワークと変圧器ネットワークの両方を含む3つの教師と学生のモデルペアについて検討した。 提案手法は恥ずかしいほど単純であるが, 実験結果から, ランダム選択ベースラインと他のコアセット選択戦略を連続的に超えることが示唆された。 そこで本研究では,コアセット選択に関する今後の研究において,一般用ベースライン(例えば,ハーディングやk中心グリーディ)のドロップイン置換として用いることができると考えられる。 報告された結果を再現するため、私たちはhttps://github.com/CemilAndreiDilmac/Few-Shot-KD-Coreset.comでコードを公開しています。

関連論文リスト

• A Coreset Selection Framework with Ensemble Aggregation for Image Classification [3.122537594115402]
  コアセット選択とアンサンブルアグリゲーションを組み合わせたフレームワークを提案する。 コアセット選択には、選択したスコアと各間隔からのサンプルに基づいてトレーニングデータを間隔に分割するSCOre-Stratified Selection (SCOSS)を提案する。 アンサンブルは複数の実行からの予測を組み合わせ、それぞれが独立してサンプル化されたトレーニングサブセットで実行される。
  論文  参考訳（メタデータ） (2026-07-10T05:09:12Z)
• MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection [59.34281845159177]
  我々は,自作ルーブリック発見に基づくソース認識フィルタリングフレームワークであるMIRAを提案する。 21のソースと5つのソースグループを持つコード指向のミッドトレーニングでは、MIRAは9つのコードベンチマークで選択ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T17:40:40Z)
• Class Balance Matters to Active Class-Incremental Learning [61.11786214164405]
  まず、大規模な未ラベルデータのプールから始めて、インクリメンタルな学習のための最も情報に富んだサンプルを注釈付けします。 そこで我々は,クラスバランスと情報提供性を両立させるため,クラスバランス選択(CBS)戦略を提案する。 我々のCBSは、プリトレーニング済みモデルとプロンプトチューニング技術に基づいて、これらのCILメソッドに接続し、再生することができる。
  論文  参考訳（メタデータ） (2024-12-09T16:37:27Z)
• Zero-Shot Coreset Selection: Efficient Pruning for Unlabeled Data [22.45812577928658]
  Coreset選択は、モデルをトレーニングするデータの代表的なサブセットを見つけることを目的としている。 ZCoreは、真実ラベルや候補データによるトレーニングなしに、コアセットを効率的に選択する手法である。 我々は、4つのデータセット上でZCoreを評価し、いくつかの最先端のラベルベースの手法より優れています。
  論文  参考訳（メタデータ） (2024-11-22T21:17:49Z)
• Diverse Subset Selection via Norm-Based Sampling and Orthogonality [31.558151874765667]
  大きな注釈付きデータセットはディープニューラルネットワークの成功には不可欠だが、医療画像のような領域ではラベル付けデータは非常に高価である。 この研究はサブセット選択の問題に取り組み、アノテーションのために大きなラベル付けされていないプールから最も情報に富んだ例の小さなセットを選択する。
  論文  参考訳（メタデータ） (2024-06-03T08:12:32Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Which Pixel to Annotate: a Label-Efficient Nuclei Segmentation Framework [70.18084425770091]
  ディープニューラルネットワークは、H&E染色病理像の核インスタンスセグメンテーションに広く応用されている。 通常、類似したパターンと冗長なパターンを含む核画像のデータセットに全てのピクセルをラベル付けするのは非効率で不要である。 そこで本研究では,アノテートするイメージパッチを数個だけ選択し,選択したサンプルからトレーニングセットを増強し,半教師付きで核分割を実現する,新しいフル核分割フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-20T14:53:26Z)
• Coverage-centric Coreset Selection for High Pruning Rates [11.18635356469467]
  ワンショットコアセット選択は、プルーニング率からトレーニングデータのサブセットを選択することを目的としており、その後、そのサブセットでのみトレーニングされたモデルに対して高い精度を達成することができる。 最先端のコアセット選択方法は通常、各例に重要スコアを割り当て、コアセットを形成する上で最も重要な例を選択する。 しかし、高い刈り取り速度では、破滅的な精度の低下に悩まされ、ランダムなコアセットの選択よりもパフォーマンスが悪くなっていることが判明した。
  論文  参考訳（メタデータ） (2022-10-28T00:14:00Z)
• DeepCore: A Comprehensive Library for Coreset Selection in Deep Learning [3.897574108827803]
  CIFAR10とImageNetデータセットのコアセット選択手法に関する実証的研究を行った。 特定の実験環境では性能が向上するメソッドもあるが、ランダム選択は依然として強力なベースラインである。
  論文  参考訳（メタデータ） (2022-04-18T18:14:30Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Extending Contrastive Learning to Unsupervised Coreset Selection [26.966136750754732]
  我々は、コアセットを完全にラベルなしで選択する教師なしの方法を提案する。 対照学習には2つの指導的手法を用いる。 ラベルを用いた既存のコアセット選択手法と比較して,人間のアノテーションに関連するコストを削減した。
  論文  参考訳（メタデータ） (2021-03-05T10:21:51Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。