論文の概要: FAST: Topology-Aware Frequency-Domain Distribution Matching for Coreset Selection

• arxiv url: http://arxiv.org/abs/2511.19476v1
• Date: Sat, 22 Nov 2025 09:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.021384
• Title: FAST: Topology-Aware Frequency-Domain Distribution Matching for Coreset Selection
• Title（参考訳）: FAST:コアセット選択のための位相対応周波数領域分布マッチング
• Authors: Jin Cui, Boran Zhao, Jiajun Xu, Jiaqi Guo, Shuo Guan, Pengju Ren,
• Abstract要約: コアセット選択はデータセットをコンパクトで代表的なサブセットに圧縮し、ディープニューラルネットワークをトレーニングする際のエネルギーと計算負担を軽減する。 DNNフリーな分散マッチングコアセット選択フレームワークであるFASTを提案する。 FASTは評価された全てのベンチマークで最先端のコアセット選択法を著しく上回り、平均精度は9.12%向上した。
• 参考スコア（独自算出の注目度）: 19.148841575715746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coreset selection compresses large datasets into compact, representative subsets, reducing the energy and computational burden of training deep neural networks. Existing methods are either: (i) DNN-based, which are tied to model-specific parameters and introduce architectural bias; or (ii) DNN-free, which rely on heuristics lacking theoretical guarantees. Neither approach explicitly constrains distributional equivalence, largely because continuous distribution matching is considered inapplicable to discrete sampling. Moreover, prevalent metrics (e.g., MSE, KL, MMD, CE) cannot accurately capture higher-order moment discrepancies, leading to suboptimal coresets. In this work, we propose FAST, the first DNN-free distribution-matching coreset selection framework that formulates the coreset selection task as a graph-constrained optimization problem grounded in spectral graph theory and employs the Characteristic Function Distance (CFD) to capture full distributional information in the frequency domain. We further discover that naive CFD suffers from a "vanishing phase gradient" issue in medium and high-frequency regions; to address this, we introduce an Attenuated Phase-Decoupled CFD. Furthermore, for better convergence, we design a Progressive Discrepancy-Aware Sampling strategy that progressively schedules frequency selection from low to high, preserving global structure before refining local details and enabling accurate matching with fewer frequencies while avoiding overfitting. Extensive experiments demonstrate that FAST significantly outperforms state-of-the-art coreset selection methods across all evaluated benchmarks, achieving an average accuracy gain of 9.12%. Compared to other baseline coreset methods, it reduces power consumption by 96.57% and achieves a 2.2x average speedup, underscoring its high performance and energy efficiency.
• Abstract（参考訳）: Coreset選択は、大規模なデータセットをコンパクトで代表的なサブセットに圧縮し、ディープニューラルネットワークをトレーニングする際のエネルギーと計算負担を軽減する。 既存の方法は以下のどちらかである。 一 モデル固有のパラメータに結びつき、建築上の偏見を導入するDNNに基づくもの (II)理論的な保証を欠いたヒューリスティックに依存したDNNフリー。 いずれのアプローチも分布同値性を明示的に制限しないが、これは主に、連続分布マッチングが離散サンプリングには適用できないと考えられるためである。 さらに、一般的なメトリクス(例えば、MSE、KL、MDD、CE)は、高次モーメントの相違を正確に捉えることができず、準最適コアセットに繋がる。 本研究では、スペクトルグラフ理論に基づくグラフ制約最適化問題としてコアセット選択タスクを定式化し、周波数領域の完全な分布情報を取得するために特徴関数距離(CFD)を用いるDNNフリー分散マッチングコアセット選択フレームワークであるFASTを提案する。 さらに,中・高周波領域の「消滅相勾配」問題に対処するために,減衰相分離CFDを導入する。 さらに、より収束性を高めるために、我々は、低から高までの周波数選択を段階的にスケジュールするプログレッシブ・ディスクレパンシー・アウェア・サンプリング・ストラテジーを設計し、局所的な詳細を精査する前にグローバルな構造を保存し、過度な適合を回避しつつ、少ない周波数で正確なマッチングを可能にする。 大規模な実験により、FASTはすべての評価されたベンチマークで最先端のコアセット選択法を著しく上回り、平均精度は9.12%向上した。 他のベースラインのコアセット方式と比較して、消費電力を96.57%削減し、平均2.2倍のスピードアップを達成する。

関連論文リスト

• PDAC: Efficient Coreset Selection for Continual Learning via Probability Density Awareness [19.191960069245354]
  リハーサルベースの連続学習(CL)は、知識保持のためのリプレイサンプルを保存するために、限られたメモリバッファを保持する。 現在のリハーサルベースのCLメソッドは、通常、代表サブセットを選択してメモリバッファを構成する。 本稿では,各試料の接合密度を推定する確率密度認識コアセット(PDAC)法を提案する。
  論文  参考訳（メタデータ） (2025-11-12T17:00:21Z)
• Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization [11.323131201168572]
  自然スペクトル融合(NSF: Natural Spectral Fusion: NSF: Reframing training as controllable spectrum coverage and information fusion)を提案する。 NSFには2つの基本原理がある: バランスを動的に低周波と高周波の情報を扱うスペクトルコントローラとして扱う。 循環スケジューリングはテストエラーを一定に低減し、異なる収束挙動を示す。
  論文  参考訳（メタデータ） (2025-09-05T00:00:00Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• ReDiSC: A Reparameterized Masked Diffusion Model for Scalable Node Classification with Structured Predictions [64.17845687013434]
  本稿では,構造化ノード分類のための構造拡散モデルであるReDiSCを提案する。 本稿では,ReDiSCが最先端のGNN,ラベル伝搬,拡散ベースラインと比較して,優れた,あるいは高い競争力を発揮することを示す。 特にReDiSCは、従来の構造化拡散法が計算制約によって失敗する大規模データセットに効果的にスケールする。
  論文  参考訳（メタデータ） (2025-07-19T04:46:53Z)
• Coreset selection for the Sinkhorn divergence and generic smooth divergences [0.8594140167290099]
  CO2は、一般的な滑らかな発散に対して凸重み付けされたコアセットを効率よく生成するアルゴリズムである。 十分な正規損失と2次近似の局所同値性を示し、コアセット選択問題を最大値の誤差最小化に還元する。 我々はシンクホーンの発散にCO2を適用し、ランダムサンプリングの近似保証に適合するために、多変量的に多くのデータポイントを必要とする新しいサンプリング手順を提供する。
  論文  参考訳（メタデータ） (2025-04-28T18:54:53Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Neural Calibration for Scalable Beamforming in FDD Massive MIMO with Implicit Channel Estimation [10.775558382613077]
  チャネル推定とビームフォーミングは、周波数分割二重化(FDD)大規模マルチインプット多重出力(MIMO)システムにおいて重要な役割を果たす。 受信したアップリンクパイロットに応じて,基地局のビームフォーマを直接最適化する深層学習方式を提案する。 エンド・ツー・エンドの設計のスケーラビリティを向上させるために,ニューラルキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2021-08-03T14:26:14Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。