論文の概要: FlashEval: Towards Fast and Accurate Evaluation of Text-to-image Diffusion Generative Models
- arxiv url: http://arxiv.org/abs/2403.16379v1
- Date: Mon, 25 Mar 2024 02:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 16:17:05.300526
- Title: FlashEval: Towards Fast and Accurate Evaluation of Text-to-image Diffusion Generative Models
- Title（参考訳）: FlashEval: テキストと画像の拡散生成モデルの高速かつ正確な評価を目指して
- Authors: Lin Zhao, Tianchen Zhao, Zinan Lin, Xuefei Ning, Guohao Dai, Huazhong Yang, Yu Wang,
- Abstract要約: テキストから画像への生成モデルの評価は、開発プロセスにおける重要なステップである。
データ選択の評価に適した反復探索アルゴリズムであるFlashEvalを提案する。
検索した50-itemサブセットは,COCOアノテーションのランダムサンプリング500-itemサブセットに匹敵する評価精度が得られた。
- 参考スコア（独自算出の注目度）: 28.44922164328789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been significant progress in the development of text-to-image generative models. Evaluating the quality of the generative models is one essential step in the development process. Unfortunately, the evaluation process could consume a significant amount of computational resources, making the required periodic evaluation of model performance (e.g., monitoring training progress) impractical. Therefore, we seek to improve the evaluation efficiency by selecting the representative subset of the text-image dataset. We systematically investigate the design choices, including the selection criteria (textural features or image-based metrics) and the selection granularity (prompt-level or set-level). We find that the insights from prior work on subset selection for training data do not generalize to this problem, and we propose FlashEval, an iterative search algorithm tailored to evaluation data selection. We demonstrate the effectiveness of FlashEval on ranking diffusion models with various configurations, including architectures, quantization levels, and sampler schedules on COCO and DiffusionDB datasets. Our searched 50-item subset could achieve comparable evaluation quality to the randomly sampled 500-item subset for COCO annotations on unseen models, achieving a 10x evaluation speedup. We release the condensed subset of these commonly used datasets to help facilitate diffusion algorithm design and evaluation, and open-source FlashEval as a tool for condensing future datasets, accessible at https://github.com/thu-nics/FlashEval.
- Abstract（参考訳）: 近年,テキスト・ツー・イメージ生成モデルの開発が著しい進展を遂げている。
生成モデルの品質を評価することは、開発プロセスにおける重要なステップである。
残念なことに、評価プロセスは大量の計算資源を消費し、モデル性能(例えば、トレーニングの進捗をモニタリングする)の定期的な評価を非現実的にする。
そこで本研究では,テキスト画像データセットの代表的なサブセットを選択することにより,評価効率の向上を図る。
選択基準(音声特徴量や画像ベースメトリクス)や選択粒度(プロンプトレベルやセットレベル)など,設計選択を体系的に検討する。
トレーニングデータのサブセット選択に関する先行研究から得られた知見は,この問題を一般化するものではなく,データ選択評価に適した反復探索アルゴリズムであるFlashEvalを提案する。
アーキテクチャや量子化レベル,COCOおよびDiffusionDBデータセットのサンプルスケジュールなど,さまざまな構成の拡散モデルのランク付けに対するFlashEvalの有効性を示す。
検索した50-itemサブセットは,COCOアノテーションを無作為にサンプリングした500-itemサブセットに匹敵し,評価速度を10倍に向上させることができた。
我々は、拡散アルゴリズムの設計と評価を容易にするために、これらのよく使われるデータセットの凝縮されたサブセットをリリースし、将来のデータセットを凝縮するためのツールとしてFlashEvalをオープンソースとして公開し、https://github.com/thu-nics/FlashEvalでアクセスします。
関連論文リスト
- LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。
LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。
ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
論文 参考訳（メタデータ） (2024-10-14T17:51:23Z) - Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。
サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。
提案手法は,最先端のデータセット圧縮手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-09T23:09:18Z) - Foundation Model Makes Clustering A Better Initialization For Cold-Start Active Learning [5.609241010973952]
コールドスタート能動学習のためのサンプルを選択するために,基礎モデルとクラスタリング手法を統合することを提案する。
ファンデーションモデルは、自己管理パラダイムによってトレーニングされた大量のデータセットを指す。
総合的な比較のために、埋め込みを取得するための古典的なImageNet教師付きモデルを含む。
論文 参考訳（メタデータ） (2024-02-04T16:27:37Z) - On the Evaluation and Refinement of Vision-Language Instruction Tuning
Datasets [71.54954966652286]
VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。
各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。
注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
論文 参考訳（メタデータ） (2023-10-10T13:01:38Z) - Feedback-guided Data Synthesis for Imbalanced Classification [10.836265321046561]
有用な合成サンプルを用いて静的データセットを拡張するためのフレームワークを提案する。
サンプルはタスクの実際のデータのサポートに近づき、十分に多様であることに気付きました。
ImageNet-LTでは、表現不足のクラスでは4%以上改善され、最先端の結果が得られます。
論文 参考訳（メタデータ） (2023-09-29T21:47:57Z) - Zero-shot Composed Text-Image Retrieval [72.43790281036584]
合成画像検索(CIR)の問題点を考察する。
テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
論文 参考訳（メタデータ） (2023-06-12T17:56:01Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Stream-based active learning with linear models [0.7734726150561089]
生産において、製品情報を取得するためにランダム検査を行う代わりに、ラベルなしデータの情報内容を評価することによりラベルを収集する。
本稿では,ストリームベースのシナリオを学習者に順次提供するための新たな戦略を提案する。
未ラベルデータポイントの通知性にしきい値を設定することにより、意思決定プロセスの反復的な側面に取り組む。
論文 参考訳（メタデータ） (2022-07-20T13:15:23Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳（メタデータ） (2020-10-11T02:19:15Z) - Set Based Stochastic Subsampling [85.5331107565578]
本稿では,2段階間ニューラルサブサンプリングモデルを提案する。
画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-25T07:36:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。