論文の概要: Domain-agnostic and Multi-level Evaluation of Generative Models
- arxiv url: http://arxiv.org/abs/2301.08750v1
- Date: Fri, 20 Jan 2023 14:32:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 16:43:15.944209
- Title: Domain-agnostic and Multi-level Evaluation of Generative Models
- Title(参考訳): 生成モデルのドメイン非依存・多レベル評価
- Authors: Girmaw Abebe Tadesse, Jannis Born, Celia Cintas, William Ogallo,
Dmitry Zubarev, Matteo Manica, Komminist Weldemariam
- Abstract要約: 遺伝子mOdels(O)の多レベル性能評価のためのフレームワークを提案する。
MPEGOは、サブ機能ベースの低レベル評価からグローバル機能ベースの高レベル評価まで、パフォーマンスを階層的に定量化することを目的としている。
MPEGOにおける中間段階の妥当性を検討するためのアブレーション研究を行った。
- 参考スコア(独自算出の注目度): 6.59118510067989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the capabilities of generative models heavily improved in different
domains (images, text, graphs, molecules, etc.), their evaluation metrics
largely remain based on simplified quantities or manual inspection with limited
practicality. To this end, we propose a framework for Multi-level Performance
Evaluation of Generative mOdels (MPEGO), which could be employed across
different domains. MPEGO aims to quantify generation performance
hierarchically, starting from a sub-feature-based low-level evaluation to a
global features-based high-level evaluation. MPEGO offers great customizability
as the employed features are entirely user-driven and can thus be highly
domain/problem-specific while being arbitrarily complex (e.g., outcomes of
experimental procedures). We validate MPEGO using multiple generative models
across several datasets from the material discovery domain. An ablation study
is conducted to study the plausibility of intermediate steps in MPEGO. Results
demonstrate that MPEGO provides a flexible, user-driven, and multi-level
evaluation framework, with practical insights on the generation quality. The
framework, source code, and experiments will be available at
https://github.com/GT4SD/mpego.
- Abstract(参考訳): 生成モデルの能力は、異なるドメイン(画像、テキスト、グラフ、分子など)で大きく改善されているが、その評価基準は、実用性に制限のある、単純化された量や手作業による検査に基づいている。
そこで本稿では,様々な領域にまたがって適用可能な生成モデル(mpego)の多レベル性能評価のためのフレームワークを提案する。
MPEGOは、サブ機能ベースの低レベル評価からグローバル機能ベースの高レベル評価まで、世代パフォーマンスを階層的に定量化することを目的としている。
MPEGOは、採用されている機能が完全にユーザ駆動であるため、任意に複雑でありながらドメイン/プロブレム固有のものになり得るため、カスタマイズ性が高い(例:実験手順の結果)。
材料発見領域から複数のデータセットにまたがる複数の生成モデルを用いてMPEGOを検証する。
MPEGOにおける中間段階の妥当性を検討するためのアブレーション研究を行った。
結果から,MPEGOはフレキシブルでユーザ主導型,マルチレベルの評価フレームワークであり,生成品質に関する実践的な洞察が得られた。
フレームワーク、ソースコード、実験はhttps://github.com/GT4SD/mpego.comで公開される。
関連論文リスト
- Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM
Evaluation [51.99752147380505]
本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。
マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。
我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
論文 参考訳(メタデータ) (2024-02-18T03:40:06Z) - EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [72.52996858794533]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。
まず,大規模言語モデルの助けを借りて実世界のプロンプトリストを解析し,テキスト・ビデオ生成のための新しいプロンプトリストを作成する。
次に、視覚的品質、コンテンツ品質、動作品質、テキストキャプションアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文 参考訳(メタデータ) (2023-10-17T17:50:46Z) - Open-Domain Text Evaluation via Meta Distribution Modeling [59.38686738625588]
オープンドメイン生成モデルを評価するための新しいアプローチ - Meta-Distribution Methods (MDM) を提案する。
筆者らは,1)メタディストリビューション法を利用したオープンドメインテキスト生成評価のためのMDMについて検討する。1)メタディストリビューション法を用いて,識別器ベースのメトリクスをトレーニングするためのドメイン内負のサンプルを生成するemphDiscriminative MDM,2)2つの言語モデル間の分散の相違を直接利用して評価を行うemphDiscriminative MDMについて検討する。
論文 参考訳(メタデータ) (2023-06-20T20:37:54Z) - Feature Likelihood Divergence: Evaluating the Generalization of
Generative Models Using Samples [25.657798631897908]
Feature Likelihood Divergenceは、生成モデルの包括的なトリコトミック評価を提供する。
我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
論文 参考訳(メタデータ) (2023-02-09T04:57:27Z) - DEX: Domain Embedding Expansion for Generalized Person Re-identification [40.275824026850245]
ドメイン埋め込み拡張(DEX)モジュールは、トレーニング中に人やドメインのラベルに基づいて動的に機能を操作し、拡張する。
DEXLiteは、大規模なデータセットにスケールするためにネガティブサンプリング技術を適用し、マルチブランチネットワークのメモリ使用量を削減する。
提案したDEXとDEXLiteは,Bag-of-Tricks,Multi-Granularity Network (MGN),Part-Based Convolutional Baseline (PCB)といった既存手法と組み合わせることができる。
論文 参考訳(メタデータ) (2021-10-21T18:21:22Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Study on the Assessment of the Quality of Experience of Streaming Video [117.44028458220427]
本稿では,ストリーミング映像のQoEの主観的推定に対する様々な客観的要因の影響について検討する。
本論文では標準的および手作り的特徴を示し,その相関とp値を示す。
SQoE-IIIデータベースは、これまでで最大の、そして最も現実的なデータベースだ。
論文 参考訳(メタデータ) (2020-12-08T18:46:09Z) - Unsupervised Learning Consensus Model for Dynamic Texture Videos
Segmentation [12.462608802359936]
動的テクスチャのセグメンテーションのための効果的な教師なし学習コンセンサスモデルを提案する。
提案モデルでは,分類対象画素の周辺部における再量子化局所2値パターン(LBP)ヒストグラムの値の集合を特徴として用いた。
挑戦的なSynthDBデータセットで実施された実験は、ULCMが大幅に高速で、コーディングが簡単で、単純で、パラメータが限られていることを示している。
論文 参考訳(メタデータ) (2020-06-29T16:40:59Z) - Learning Meta Face Recognition in Unseen Domains [74.69681594452125]
メタ顔認識(MFR)というメタラーニングを用いた新しい顔認識手法を提案する。
MFRは、メタ最適化目標を用いてソース/ターゲットドメインシフトを合成する。
一般化顔認識評価のためのベンチマークを2つ提案する。
論文 参考訳(メタデータ) (2020-03-17T14:10:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。