論文の概要: On the Distributed Evaluation of Generative Models

• arxiv url: http://arxiv.org/abs/2310.11714v4
• Date: Tue, 11 Jun 2024 07:33:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 00:58:30.839772
• Title: On the Distributed Evaluation of Generative Models
• Title（参考訳）: 生成モデルの分散評価について
• Authors: Zixiao Wang, Farzan Farnia, Zhenghao Lin, Yunheng Shen, Bei Yu,
• Abstract要約: 我々は、広く使われている距離ベース評価指標であるFr'echet Inception Distance(FID)とKernel Inception Distance(KID)に焦点を当てる。 KID測定の場合、クライアントの平均KIDスコアを用いた生成モデルのスコアは、すべてのクライアントのデータを含む集合参照セットに対して集中的なKID評価と同じランキングとなることが証明される。 分散環境では、各クライアントが2つの生成モデルに同じFIDスコアを割り当てるが、2つのモデルの集中的なFIDスコアは著しく異なる。
• 参考スコア（独自算出の注目度）: 15.629121946912088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evaluation of deep generative models has been extensively studied in the centralized setting, where the reference data are drawn from a single probability distribution. On the other hand, several applications of generative models concern distributed settings, e.g. the federated learning setting, where the reference data for conducting evaluation are provided by several clients in a network. In this paper, we study the evaluation of generative models in such distributed contexts with potentially heterogeneous data distributions across clients. We focus on the widely-used distance-based evaluation metrics, Fr\'echet Inception Distance (FID) and Kernel Inception Distance (KID). In the case of KID metric, we prove that scoring a group of generative models using the clients' averaged KID score will result in the same ranking as that of a centralized KID evaluation over a collective reference set containing all the clients' data. In contrast, we show the same result does not apply to the FID-based evaluation. We provide examples in which two generative models are assigned the same FID score by each client in a distributed setting, while the centralized FID scores of the two models are significantly different. We perform several numerical experiments on standard image datasets and generative models to support our theoretical results on the distributed evaluation of generative models using FID and KID scores.
• Abstract（参考訳）: 深部生成モデルの評価は、単一の確率分布から参照データが引き出される集中的な環境で広範囲に研究されている。 一方、生成モデルのいくつかの応用は、ネットワーク内の複数のクライアントによって評価を行うための参照データを提供するフェデレーション学習設定など、分散設定に関するものである。 本稿では,クライアント間での不均一なデータ分布を持つ分散コンテキストにおける生成モデルの評価について検討する。 FID(Fr'echet Inception Distance)とKID(Kernel Inception Distance)に焦点をあてた。 KID測定の場合、クライアントの平均KIDスコアを用いた生成モデルのスコアは、すべてのクライアントのデータを含む集合参照セットに対して集中的なKID評価と同じランキングとなることが証明される。 対照的に、FIDに基づく評価には、同じ結果が当てはまらない。 分散環境では、各クライアントが2つの生成モデルに同じFIDスコアを割り当てるが、2つのモデルの集中的なFIDスコアは著しく異なる。 我々は、FIDとKIDスコアを用いた生成モデルの分散評価に関する理論的結果を支援するために、標準画像データセットと生成モデルに関する数値実験を行った。

関連論文リスト

• An Optimism-based Approach to Online Evaluation of Generative Models [23.91197677628145]
  利用可能なモデル群間の標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価フレームワークを提案する。 具体的には、Fr'echet Inception Distance(FID)とInception Score(IS)のメトリクスに基づいて、生成モデルのオンライン評価を行う。
  論文  参考訳（メタデータ） (2024-06-11T16:57:48Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Statistical Model Criticism of Variational Auto-Encoders [15.005894753472894]
  変分自動エンコーダ(VAE)の統計的評価のための枠組みを提案する。 我々は、手書き文字のイメージと英文のコーパスをモデル化する文脈において、このフレームワークの2つの例をテストする。
  論文  参考訳（メタデータ） (2022-04-06T18:19:29Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)
• Implicit Model Specialization through DAG-based Decentralized Federated Learning [0.0]
  フェデレートされた学習により、分散クライアントのグループは、プライベートデータ上で共通の機械学習モデルをトレーニングできる。 連合学習における分散化とパーソナライズへの統一的なアプローチを提案する。 評価の結果,モデル更新のDAGに基づく通信から直接,モデルの特殊化が現れることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T20:55:47Z)
• Decentralised Person Re-Identification with Selective Knowledge Aggregation [56.40855978874077]
  既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。 グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。 しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。 我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:09:53Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。