論文の概要: How Knowledge Distillation Mitigates the Synthetic Gap in Fair Face Recognition

• arxiv url: http://arxiv.org/abs/2408.17399v1
• Date: Fri, 30 Aug 2024 16:35:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:46:39.848968
• Title: How Knowledge Distillation Mitigates the Synthetic Gap in Fair Face Recognition
• Title（参考訳）: 公正な顔認識における知識蒸留による合成ギャップの軽減
• Authors: Pedro C. Neto, Ivona Colakovic, Sašo Karakatič, Ana F. Sequeira,
• Abstract要約: 実際のデータセットでトレーニングされた教師モデルを考えると、慎重に合成データセットを利用すると驚くべき結果が得られます。 知識蒸留(KD)を使用すると、すべての民族でパフォーマンスが向上し、バイアスが減少する。 このアプローチは、合成データトレーニングの限界に対処し、顔認識モデルの正確性と公平性を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging the capabilities of Knowledge Distillation (KD) strategies, we devise a strategy to fight the recent retraction of face recognition datasets. Given a pretrained Teacher model trained on a real dataset, we show that carefully utilising synthetic datasets, or a mix between real and synthetic datasets to distil knowledge from this teacher to smaller students can yield surprising results. In this sense, we trained 33 different models with and without KD, on different datasets, with different architectures and losses. And our findings are consistent, using KD leads to performance gains across all ethnicities and decreased bias. In addition, it helps to mitigate the performance gap between real and synthetic datasets. This approach addresses the limitations of synthetic data training, improving both the accuracy and fairness of face recognition models.
• Abstract（参考訳）: 知識蒸留(KD)戦略の活用により、顔認識データセットの最近の取り消しと戦うための戦略を考案する。 実際のデータセットに基づいてトレーニングされた教師モデルを考えると、注意深く合成データセットを利用するか、この教師から小さな学生への知識を消し去るために、実際のデータセットと合成データセットを混在させることが驚くべき結果をもたらすことが示される。 この意味で、KDなしで33の異なるモデルを、異なるアーキテクチャと損失で異なるデータセットでトレーニングしました。 KDを使用することで、すべての民族でパフォーマンスが向上し、バイアスが減少します。 さらに、実際のデータセットと合成データセットのパフォーマンスギャップを軽減するのにも役立ちます。 このアプローチは、合成データトレーニングの限界に対処し、顔認識モデルの正確性と公平性を改善する。

関連論文リスト

• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• Mind the Gap Between Synthetic and Real: Utilizing Transfer Learning to Probe the Boundaries of Stable Diffusion Generated Data [2.6016285265085526]
  学生モデルは、実際のデータで訓練されたモデルと比較して、精度が著しく低下している。 実データまたは合成データを用いてこれらのレイヤをトレーニングすることにより、ドロップが主にモデルの最終的なレイヤに由来することを明らかにする。 この結果から,実際のトレーニングデータの量とモデルの精度とのトレードオフの改善が示唆された。
  論文  参考訳（メタデータ） (2024-05-06T07:51:13Z)
• Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
  実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。 属性集合上の実データと合成データセットの差について検討する。 興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
  論文  参考訳（メタデータ） (2024-04-23T17:10:49Z)
• SDFR: Synthetic Data for Face Recognition Competition [51.9134406629509]
  大規模な顔認識データセットは、インターネットをクロールして個人の同意なしに収集し、法的、倫理的、プライバシー上の懸念を提起する。 近年、ウェブクローリングされた顔認識データセットにおける懸念を軽減するために、合成顔認識データセットの生成が提案されている。 本稿では,第18回IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024)と共同で開催されているSynthetic Data for Face Recognition (SDFR)コンペティションの概要を紹介する。 SDFRコンペティションは2つのタスクに分けられ、参加者は新しい合成データセットまたは/または既存のデータセットを使用して顔認識システムを訓練することができる。
  論文  参考訳（メタデータ） (2024-04-06T10:30:31Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Bridging the Gap: Enhancing the Utility of Synthetic Data via Post-Processing Techniques [7.967995669387532]
  生成モデルは、実世界のデータを置き換えたり拡張したりできる合成データセットを生成するための有望なソリューションとして登場した。 本稿では,合成データセットの品質と多様性を向上させるために,新しい3つのポストプロセッシング手法を提案する。 Gap Filler(GaFi)は、Fashion-MNIST、CIFAR-10、CIFAR-100データセットにおいて、実精度スコアとのギャップを2.03%、1.78%、および3.99%に効果的に減少させることを示した。
  論文  参考訳（メタデータ） (2023-05-17T10:50:38Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Transitioning from Real to Synthetic data: Quantifying the bias in model [1.6134566438137665]
  本研究では,合成データを用いたモデルにおけるバイアスと公平性のトレードオフを確立することを目的とする。 合成データを用いて訓練したモデルには、様々なレベルのバイアスの影響があることを実証する。
  論文  参考訳（メタデータ） (2021-05-10T06:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。