Fugu-MT 論文翻訳(概要): Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation

論文の概要: Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation

arxiv url: http://arxiv.org/abs/2404.00563v1
Date: Sun, 31 Mar 2024 05:07:06 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 03:00:38.369867
Title: Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation
Title（参考訳）: データセット蒸留におけるサンプル間および機能間関係の爆発
Authors: Wenxiao Deng, Wenbin Li, Tianyu Ding, Lei Wang, Hongguang Zhang, Kuihua Huang, Jing Huo, Yang Gao,
Abstract要約: クラス集中化制約と共分散マッチング制約を導入する。 CIFAR10では最大6.6%、SVHNでは2.9%、CIFAR100では2.5%、TinyImageNetでは2.5%となる。本手法は,4つのアーキテクチャにおいて最大1.7%の性能低下を伴って,クロスアーキテクチャ環境でのロバストな性能を維持している。
参考スコア（独自算出の注目度）: 25.552810713735873
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Dataset distillation has emerged as a promising approach in deep learning, enabling efficient training with small synthetic datasets derived from larger real ones. Particularly, distribution matching-based distillation methods attract attention thanks to its effectiveness and low computational cost. However, these methods face two primary limitations: the dispersed feature distribution within the same class in synthetic datasets, reducing class discrimination, and an exclusive focus on mean feature consistency, lacking precision and comprehensiveness. To address these challenges, we introduce two novel constraints: a class centralization constraint and a covariance matching constraint. The class centralization constraint aims to enhance class discrimination by more closely clustering samples within classes. The covariance matching constraint seeks to achieve more accurate feature distribution matching between real and synthetic datasets through local feature covariance matrices, particularly beneficial when sample sizes are much smaller than the number of features. Experiments demonstrate notable improvements with these constraints, yielding performance boosts of up to 6.6% on CIFAR10, 2.9% on SVHN, 2.5% on CIFAR100, and 2.5% on TinyImageNet, compared to the state-of-the-art relevant methods. In addition, our method maintains robust performance in cross-architecture settings, with a maximum performance drop of 1.7% on four architectures. Code is available at https://github.com/VincenDen/IID.
Abstract（参考訳）: データセットの蒸留はディープラーニングにおいて有望なアプローチとして現れており、より大規模な実データから派生した小さな合成データセットによる効率的なトレーニングを可能にしている。特に, 分散マッチングに基づく蒸留法は, その有効性と計算コストの低さから注目されている。しかし、これらの手法は、合成データセットの同じクラス内の分散した特徴分布、クラス識別の低減、平均的特徴整合性への排他的焦点、精度と包括性を欠いた2つの主な制限に直面している。これらの課題に対処するために,クラス集中化制約と共分散マッチング制約という2つの新しい制約を導入する。クラス集中化制約は、クラス内でより密集したサンプルをクラスタ化することによって、クラス識別を強化することを目的としている。共分散マッチング制約は、局所的な特徴共分散行列を通して、実データと合成データセットのより正確な特徴分布マッチングを実現することを目的としており、特に、サンプルサイズが特徴の数よりもはるかに小さい場合に有益である。 CIFAR10では最大6.6%、SVHNでは2.9%、CIFAR100では2.5%、TinyImageNetでは2.5%となる。さらに,本手法は,4つのアーキテクチャにおいて最大1.7%の性能低下を伴って,クロスアーキテクチャ環境でのロバストな性能を維持している。コードはhttps://github.com/VincenDen/IID.comで入手できる。

関連論文リスト

DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
論文参考訳（メタデータ） (2024-06-03T07:22:17Z)
Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning [0.0]
クロスドメインの少ショット分類は、それまで見つからなかった領域で新しいクラスを学ぶという難しい課題を示す。我々は,小データセット上の多数のパラメータの微調整に伴うオーバーフィッティングに対処する,軽量なパラメータ効率適応手法を提案する。我々は,従来の遠心波を識別的サンプル認識損失関数に置き換え,クラス間およびクラス内分散に対するモデルの感度を高める。
論文参考訳（メタデータ） (2024-03-07T13:49:29Z)
Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文参考訳（メタデータ） (2023-07-19T04:07:33Z)
CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-28T16:00:31Z)
On the Eigenvalues of Global Covariance Pooling for Fine-grained Visual Recognition [65.67315418971688]
グローバル共分散プーリング(GCP)の小さな固有値をトラッピングすることで、よりスムーズな勾配が得られることを示す。きめ細かいデータセットでは、小さな固有値の切り抜きは、モデルを収束させるのに失敗する。この観測から着想を得て,小さな固有値の重要性を拡大するネットワーク分岐を提案する。
論文参考訳（メタデータ） (2022-05-26T11:41:36Z)
GDC- Generalized Distribution Calibration for Few-Shot Learning [5.076419064097734]
大規模なラベル付きデータセットを組み立てるのにかなりの時間と労力を要するため、機械学習において重要な問題となるショットラーニングはほとんどない。ほとんどの少数ショット学習アルゴリズムは、2つの制限の1つに悩まされている。そこで本研究では,全大クラスの重み付きランダム変数として分類する際,少数ショット分布を推定する一般サンプリング手法を提案する。
論文参考訳（メタデータ） (2022-04-11T16:22:53Z)
Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。実験結果から,これらの手法が直面する課題を分析した。本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文参考訳（メタデータ） (2022-03-23T07:33:37Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
Deep Robust Clustering by Contrastive Learning [31.161207608881472]
本稿では,非競合データを用いたクラスタリング学習のために,Deep Robust Clustering (DRC)を提案する。 DRCは、セマンティッククラスタリングの割り当てと表現機能の両方の観点から、ディープクラスタリングを考察している。広く採用されている6つのディープクラスタリングベンチマークの実験は、安定性と精度の両方においてDRCの優位性を示している。
論文参考訳（メタデータ） (2020-08-07T08:05:53Z)
Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization [53.99850033746663]
弱教師付き画像ラベルを持つ対象クラスにおける局所化モデル学習の問題点について検討する。本研究では,対象関数のみの学習は知識伝達の弱い形態であると主張する。 COCOおよびILSVRC 2013検出データセットの実験では、ペアワイズ類似度関数を含むことにより、ローカライズモデルの性能が大幅に向上することが示された。
論文参考訳（メタデータ） (2020-03-18T17:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。