論文の概要: Balancing Label Imbalance in Federated Environments Using Only Mixup and Artificially-Labeled Noise
- arxiv url: http://arxiv.org/abs/2409.13235v1
- Date: Fri, 20 Sep 2024 05:44:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 11:18:04.202134
- Title: Balancing Label Imbalance in Federated Environments Using Only Mixup and Artificially-Labeled Noise
- Title（参考訳）: 混合音と人工音のみを用いたフェデレーション環境におけるラベル不均衡のバランス
- Authors: Kyle Sang, Tahseen Rabbani, Furong Huang,
- Abstract要約: 擬似画像を用いて、特定のラベルクラスの未表現サンプルを埋め込む方法を示す。
既存のアルゴリズムは擬似イメージのみをトレーニングしていますが、拡張されたクライアントデータセットは実画像と擬似イメージの両方で構成されています。
ラベル付きCIFAR-10およびMNIST訓練において,混合と自然雑音による少量の増強が顕著に改善することが実証された。
- 参考スコア（独自算出の注目度）: 25.764939424940284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clients in a distributed or federated environment will often hold data skewed towards differing subsets of labels. This scenario, referred to as heterogeneous or non-iid federated learning, has been shown to significantly hinder model training and performance. In this work, we explore the limits of a simple yet effective augmentation strategy for balancing skewed label distributions: filling in underrepresented samples of a particular label class using pseudo-images. While existing algorithms exclusively train on pseudo-images such as mixups of local training data, our augmented client datasets consist of both real and pseudo-images. In further contrast to other literature, we (1) use a DP-Instahide variant to reduce the decodability of our image encodings and (2) as a twist, supplement local data using artificially labeled, training-free 'natural noise' generated by an untrained StyleGAN. These noisy images mimic the power spectra patterns present in natural scenes which, together with mixup images, help homogenize label distribution among clients. We demonstrate that small amounts of augmentation via mixups and natural noise markedly improve label-skewed CIFAR-10 and MNIST training.
- Abstract（参考訳）: 分散あるいはフェデレーションされた環境のクライアントは、しばしばラベルの異なるサブセットに向かってスキューされたデータを保持する。
このシナリオは、異種または非IDフェデレーション学習と呼ばれ、モデルトレーニングとパフォーマンスを著しく妨げていることが示されている。
本研究では,スキューラベル分布のバランスをとるための,単純かつ効果的な拡張戦略の限界について検討する。
既存のアルゴリズムでは、ローカルトレーニングデータのミックスアップのような擬似イメージのみをトレーニングしていますが、当社の強化されたクライアントデータセットは、実画像と擬似イメージの両方で構成されています。
他の文献とは対照的に,(1) DP-Instahide 変種を用いて画像符号化の復調性を低減し,(2) ツイストとして,訓練なしのStyleGAN が生成する人工ラベル付き「自然ノイズ」を用いて局所データを補う。
これらのノイズのある画像は、自然のシーンに存在するパワースペクトルパターンを模倣し、ミキシング画像とともに、クライアント間のラベルの分布を均質化するのに役立ちます。
ラベル付きCIFAR-10およびMNIST訓練において,混合と自然雑音による少量の増強が顕著に改善することが実証された。
関連論文リスト
- Recovering Global Data Distribution Locally in Federated Learning [7.885010255812708]
Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。
FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。
本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
論文 参考訳（メタデータ） (2024-09-21T08:35:04Z) - Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。
トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。
ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-22T04:49:39Z) - Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。
本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。
提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-05-31T03:13:45Z) - DiffuseMix: Label-Preserving Data Augmentation with Diffusion Models [18.44432223381586]
近年、ディープニューラルネットワークの一般化を改善するために、画像混合に基づく拡張技術が数多く導入されている。
これらの手法では、2つ以上のランダムに選択された自然画像が混合され、拡張画像を生成する。
DiffuseMixを提案する。DiffuseMixは、拡散モデルを利用してトレーニング画像を再構成する新しいデータ拡張手法である。
論文 参考訳（メタデータ） (2024-04-05T05:31:02Z) - Embedding contrastive unsupervised features to cluster in- and
out-of-distribution noise in corrupted image datasets [18.19216557948184]
Web画像検索に検索エンジンを使用することは、イメージデータセットを作成する際の手作業によるキュレーションに代わる誘惑的な手段である。
主な欠点は、回収された間違った(ノイズの多い)サンプルの割合である。
本稿では,教師なしのコントラスト特徴学習を用いた検出ステップから始める2段階のアルゴリズムを提案する。
比較学習のアライメントと均一性原理により,OODサンプルは単位超球面上のIDサンプルから線形に分離できることがわかった。
論文 参考訳（メタデータ） (2022-07-04T16:51:56Z) - Dual-Perspective Semantic-Aware Representation Blending for Multi-Label
Image Recognition with Partial Labels [70.36722026729859]
本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。
提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
論文 参考訳（メタデータ） (2022-05-26T00:33:44Z) - Spatial Consistency Loss for Training Multi-Label Classifiers from
Single-Label Annotations [39.69823105183408]
マルチラベルの分類はシングルラベルの分類よりも「野生で」適用できる。
整合性損失を加えることは、弱教師付き環境でマルチラベル分類器を訓練するための単純かつ効果的な方法であることを示す。
また、ReaLマルチラベル検証セットを用いて、ImageNet-1K上のマルチラベル分類mAPを改善した。
論文 参考訳（メタデータ） (2022-03-11T17:54:20Z) - Semantic-Aware Representation Blending for Multi-Label Image Recognition
with Partial Labels [86.17081952197788]
そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。
MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
論文 参考訳（メタデータ） (2022-03-04T07:56:16Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2021-11-22T15:49:20Z) - Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。
大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。
本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文 参考訳（メタデータ） (2020-09-30T15:45:36Z) - Instance-Aware Graph Convolutional Network for Multi-Label
Classification [55.131166957803345]
グラフ畳み込みニューラルネットワーク(GCN)は、マルチラベル画像認識タスクを効果的に強化した。
マルチラベル分類のための事例対応グラフ畳み込みニューラルネットワーク(IA-GCN)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-19T12:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。