論文の概要: PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors

• arxiv url: http://arxiv.org/abs/2511.09905v1
• Date: Fri, 14 Nov 2025 01:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.566326
• Title: PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors
• Title（参考訳）: PRISM: アーキテクチャ優先事項の分離によるデータセット蒸留の多様化
• Authors: Brian B. Moser, Shalini Strode, Federico Raue, Stanislav Frolov, Krzysztof Adamkiewicz, Arundhati Shanbhag, Joachim Folk, Tobias C. Nauen, Andreas Dengel,
• Abstract要約: PRISM (PRIors from various Source Models) は、合成中にアーキテクチャの先行を混乱させるフレームワークである。 ImageNet-1Kでは、PRISMは一貫して、再現的にシングルテラーメソッドより優れています。
• 参考スコア（独自算出の注目度）: 8.66115045973379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation (DD) promises compact yet faithful synthetic data, but existing approaches often inherit the inductive bias of a single teacher model. As dataset size increases, this bias drives generation toward overly smooth, homogeneous samples, reducing intra-class diversity and limiting generalization. We present PRISM (PRIors from diverse Source Models), a framework that disentangles architectural priors during synthesis. PRISM decouples the logit-matching and regularization objectives, supervising them with different teacher architectures: a primary model for logits and a stochastic subset for batch-normalization (BN) alignment. On ImageNet-1K, PRISM consistently and reproducibly outperforms single-teacher methods (e.g., SRe2L) and recent multi-teacher variants (e.g., G-VBSM) at low- and mid-IPC regimes. The generated data also show significantly richer intra-class diversity, as reflected by a notable drop in cosine similarity between features. We further analyze teacher selection strategies (pre- vs. intra-distillation) and introduce a scalable cross-class batch formation scheme for fast parallel synthesis. Code will be released after the review period.
• Abstract（参考訳）: データセット蒸留(DD)はコンパクトだが忠実な合成データを約束するが、既存の手法は単一の教師モデルの帰納バイアスを継承することが多い。 データセットのサイズが大きくなるにつれて、このバイアスは生成を過度に滑らかで均質なサンプルへと推し進め、クラス内の多様性を減らし、一般化を制限する。 本稿では,PRISM(PRIors from various Source Models)について述べる。 PRISMはロジットマッチングと正規化の目的を分離し、ロジットの第一モデルとバッチ正規化(BN)アライメントの確率的サブセットという、異なる教師アーキテクチャでそれらを監督する。 ImageNet-1Kでは、PRISMは単一教師法(例:SRe2L)と最近のマルチ教師法(例:G-VBSM)を低・中・IPC方式で一貫して再現的に上回っている。 生成したデータは、特徴間のコサイン類似性の顕著な低下によって反映されるように、クラス内の多様性も著しく向上した。 さらに, 教師の選択方略(前対蒸留)を分析し, 高速並列合成のためのスケーラブルなクロスクラスバッチ形成手法を導入する。 コードはレビュー期間後にリリースされる。

関連論文リスト

• DELT: A Simple Diversity-driven EarlyLate Training for Dataset Distillation [23.02066055996762]
  本稿では,バッチ・ツー・グロバルマッチングにおける画像の多様性を高めるため,多様性駆動型早期学習(DELT)方式を提案する。 我々のアプローチは概念的には単純だが有効であり、事前に定義されたIPCサンプルを小さなサブタスクに分割し、局所的な最適化を用いる。 我々のアプローチは、異なるデータセットとIPC(クラスごとのイメージ)で平均2$sim$5%の先行技術よりも優れています。
  論文  参考訳（メタデータ） (2024-11-29T18:59:46Z)
• Federated Class-Incremental Learning with Hierarchical Generative Prototypes [10.532838477096055]
  Federated Learning (FL)は、複数のデバイス(クライアント)に分散した計算をすることで、ディープモデルのトレーニングを解き放つことを目的としている。 提案手法は,学習可能なプロンプトを用いてトレーニング済みのバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。 提案手法は現状を著しく改善し, 平均精度は+7.8%向上した。
  論文  参考訳（メタデータ） (2024-06-04T16:12:27Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。