論文の概要: On the Evaluation of Generative Models in Distributed Learning Tasks
- arxiv url: http://arxiv.org/abs/2310.11714v1
- Date: Wed, 18 Oct 2023 05:06:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 17:48:31.289027
- Title: On the Evaluation of Generative Models in Distributed Learning Tasks
- Title（参考訳）: 分散学習タスクにおける生成モデルの評価について
- Authors: Zixiao Wang, Farzan Farnia, Zhenghao Lin, Yunheng Shen, Bei Yu
- Abstract要約: 不均一なデータ分布を持つ分散学習タスクにおける生成モデルの評価について検討する。
FID-allとFID-avgのスコアによるモデルランキングは矛盾する可能性があることを証明した。
FIDの場合とは異なり、KID-allとKID-avgは生成モデルと同じランキングになる。
- 参考スコア（独自算出の注目度）: 16.76764024709137
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The evaluation of deep generative models including generative adversarial
networks (GANs) and diffusion models has been extensively studied in the
literature. While the existing evaluation methods mainly target a centralized
learning problem with training data stored by a single client, many
applications of generative models concern distributed learning settings, e.g.
the federated learning scenario, where training data are collected by and
distributed among several clients. In this paper, we study the evaluation of
generative models in distributed learning tasks with heterogeneous data
distributions. First, we focus on the Fr\'echet inception distance (FID) and
consider the following FID-based aggregate scores over the clients: 1) FID-avg
as the mean of clients' individual FID scores, 2) FID-all as the FID distance
of the trained model to the collective dataset containing all clients' data. We
prove that the model rankings according to the FID-all and FID-avg scores could
be inconsistent, which can lead to different optimal generative models
according to the two aggregate scores. Next, we consider the kernel inception
distance (KID) and similarly define the KID-avg and KID-all aggregations.
Unlike the FID case, we prove that KID-all and KID-avg result in the same
rankings of generative models. We perform several numerical experiments on
standard image datasets and training schemes to support our theoretical
findings on the evaluation of generative models in distributed learning
problems.
- Abstract（参考訳）: 生成的逆ネットワーク(gans)や拡散モデルを含む深層生成モデルの評価は文献で広く研究されている。
既存の評価方法は、主に単一のクライアントが格納したトレーニングデータによる集中学習問題を対象としているが、生成モデルの多くの応用は、複数のクライアント間でトレーニングデータを収集し分散するフェデレーション学習シナリオなど、分散学習設定に関するものである。
本稿では,異種データ分布を持つ分散学習タスクにおける生成モデルの評価について検討する。
まず、Fr'echet開始距離(FID)に着目し、クライアントに対する以下のFIDベースの集計スコアを検討する。
1)クライアントの個別FIDスコアの平均としてのFID-avg
2)FID-allは、訓練されたモデルからすべてのクライアントのデータを含む集合データセットまでのFID距離である。
FID-allとFID-avgのスコアによるモデルランキングは矛盾する可能性があり、2つのスコアに応じて最適な生成モデルを生成することができる。
次に、カーネル開始距離(KID)を考察し、同様にKID-avgおよびKID-allアグリゲーションを定義する。
FIDの場合とは異なり、KID-allとKID-avgは生成モデルと同じランキングになる。
我々は,分散学習問題における生成モデルの評価に関する理論的知見を支援するために,標準画像データセットとトレーニングスキームに関する数値実験を行った。
関連論文リスト
- An Optimism-based Approach to Online Evaluation of Generative Models [23.91197677628145]
利用可能なモデル群間の標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価フレームワークを提案する。
具体的には、Fr'echet Inception Distance(FID)とInception Score(IS)のメトリクスに基づいて、生成モデルのオンライン評価を行う。
論文 参考訳（メタデータ） (2024-06-11T16:57:48Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-05-22T16:37:53Z) - Statistical Model Criticism of Variational Auto-Encoders [15.005894753472894]
変分自動エンコーダ(VAE)の統計的評価のための枠組みを提案する。
我々は、手書き文字のイメージと英文のコーパスをモデル化する文脈において、このフレームワークの2つの例をテストする。
論文 参考訳（メタデータ） (2022-04-06T18:19:29Z) - A Personalized Federated Learning Algorithm: an Application in Anomaly
Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。
FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。
本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文 参考訳（メタデータ） (2021-11-04T04:57:11Z) - Implicit Model Specialization through DAG-based Decentralized Federated
Learning [0.0]
フェデレートされた学習により、分散クライアントのグループは、プライベートデータ上で共通の機械学習モデルをトレーニングできる。
連合学習における分散化とパーソナライズへの統一的なアプローチを提案する。
評価の結果,モデル更新のDAGに基づく通信から直接,モデルの特殊化が現れることがわかった。
論文 参考訳（メタデータ） (2021-11-01T20:55:47Z) - Decentralised Person Re-Identification with Selective Knowledge
Aggregation [56.40855978874077]
既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。
グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。
しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。
我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
論文 参考訳（メタデータ） (2021-10-21T18:09:53Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。