論文の概要: Mimicry: Towards the Reproducibility of GAN Research
- arxiv url: http://arxiv.org/abs/2005.02494v1
- Date: Tue, 5 May 2020 21:07:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 14:34:57.032571
- Title: Mimicry: Towards the Reproducibility of GAN Research
- Title(参考訳): 奇跡:GAN研究の再現に向けて
- Authors: Kwot Sin Lee, Christopher Town
- Abstract要約: 我々は、人気の高い最先端のGANと評価指標の実装を提供する軽量PyTorchライブラリであるMimicryを紹介する。
我々は、これらのGANを同じ条件下でトレーニングし、同じ手順を用いて3つの一般的なGANメトリクスにわたって評価することにより、異なるGANの総合的なベースライン性能を7つの広く使用されているデータセット上で提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advancing the state of Generative Adversarial Networks (GANs) research
requires one to make careful and accurate comparisons with existing works. Yet,
this is often difficult to achieve in practice when models are often
implemented differently using varying frameworks, and evaluated using different
procedures even when the same metric is used. To mitigate these issues, we
introduce Mimicry, a lightweight PyTorch library that provides implementations
of popular state-of-the-art GANs and evaluation metrics to closely reproduce
reported scores in the literature. We provide comprehensive baseline
performances of different GANs on seven widely-used datasets by training these
GANs under the same conditions, and evaluating them across three popular GAN
metrics using the same procedures. The library can be found at
https://github.com/kwotsin/mimicry.
- Abstract(参考訳): GAN(Generative Adversarial Networks)研究の進展には、既存の研究と慎重に正確な比較が必要である。
しかし、モデルが異なるフレームワークを使用して異なる方法で実装され、同じメトリックが使われている場合でも異なる手順で評価される場合、実際にこれを達成するのは困難である。
これらの問題を緩和するため、文献に報告されたスコアを忠実に再現するために、人気のある最先端のGANの実装と評価指標を提供する軽量PyTorchライブラリであるMimicryを紹介した。
我々は、これらのGANを同じ条件下でトレーニングし、同じ手順を用いて3つの一般的なGANメトリクスにわたって評価することにより、異なるGANの総合的なベースライン性能を7つの広く使用されているデータセット上で提供する。
ライブラリはhttps://github.com/kwotsin/mimicryにある。
関連論文リスト
- Evaluation of RAG Metrics for Question Answering in the Telecom Domain [0.650923326742559]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)が質問応答(QA)タスクを実行できるようにするために広く使われている。
この作業は、いくつかの指標(事実性、文脈関連性、回答関連性、回答正当性、回答類似性、事実正当性)に対して修正されたこのパッケージで、プロンプトの中間出力を提供する。
次に、修正されたRAGASパッケージの出力のエキスパート評価を分析し、通信領域で使用する際の課題を観察する。
論文 参考訳(メタデータ) (2024-07-15T17:40:15Z) - BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。
一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。
本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文 参考訳(メタデータ) (2024-07-01T09:09:27Z) - Unsupervised evaluation of GAN sample quality: Introducing the TTJac
Score [5.1359892878090845]
データフリーで個々の合成画像の忠実度を測定するために「TTJac score」を提案する。
FFHQ, AFHQ-Wild, LSUN-Cars, LSUN-Horseデータセット上でのStyleGAN 2およびStyleGAN 2 ADAモデルに適用した実験結果を示す。
論文 参考訳(メタデータ) (2023-08-31T19:55:50Z) - Towards Multiple References Era -- Addressing Data Leakage and Limited
Reference Diversity in NLG Evaluation [55.92852268168816]
BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。
近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。
本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
論文 参考訳(メタデータ) (2023-08-06T14:49:26Z) - Benchmarking Test-Time Adaptation against Distribution Shifts in Image
Classification [77.0114672086012]
テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。
本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2023-07-06T16:59:53Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳(メタデータ) (2023-06-27T16:59:06Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳(メタデータ) (2022-06-22T09:27:31Z) - WRENCH: A Comprehensive Benchmark for Weak Supervision [66.82046201714766]
ベンチマークは、分類とシーケンスタグ付けのための22の異なる実世界のデータセットで構成されている。
ベンチマークプラットフォームとしての有効性を示すために、100以上のメソッドの変種に対して広範な比較を行うためにベンチマークを使用します。
論文 参考訳(メタデータ) (2021-09-23T13:47:16Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳(メタデータ) (2020-04-26T12:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。