論文の概要: Beyond Statistical Similarity: Rethinking Metrics for Deep Generative
Models in Engineering Design
- arxiv url: http://arxiv.org/abs/2302.02913v4
- Date: Sat, 14 Oct 2023 04:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 06:09:38.035935
- Title: Beyond Statistical Similarity: Rethinking Metrics for Deep Generative
Models in Engineering Design
- Title(参考訳): 統計的類似性を超えて:エンジニアリング設計における深層生成モデルのためのメトリクス再考
- Authors: Lyle Regenwetter, Akash Srivastava, Dan Gutfreund, Faez Ahmed
- Abstract要約: 本稿では,工学設計における深部生成モデル(DGM)の評価指標のレビューと実践的指針として,その2つを考察する。
まず,機械学習理論を基礎とした深層生成モデルに対する古典的評価指標について概説する。
次に、深い生成モデルを評価するために使用できる設計固有のメトリクスのセットをキュレートする。
- 参考スコア(独自算出の注目度): 10.531935694354448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep generative models such as Variational Autoencoders (VAEs), Generative
Adversarial Networks (GANs), Diffusion Models, and Transformers, have shown
great promise in a variety of applications, including image and speech
synthesis, natural language processing, and drug discovery. However, when
applied to engineering design problems, evaluating the performance of these
models can be challenging, as traditional statistical metrics based on
likelihood may not fully capture the requirements of engineering applications.
This paper doubles as a review and practical guide to evaluation metrics for
deep generative models (DGMs) in engineering design. We first summarize the
well-accepted `classic' evaluation metrics for deep generative models grounded
in machine learning theory. Using case studies, we then highlight why these
metrics seldom translate well to design problems but see frequent use due to
the lack of established alternatives. Next, we curate a set of design-specific
metrics which have been proposed across different research communities and can
be used for evaluating deep generative models. These metrics focus on unique
requirements in design and engineering, such as constraint satisfaction,
functional performance, novelty, and conditioning. Throughout our discussion,
we apply the metrics to models trained on simple-to-visualize 2-dimensional
example problems. Finally, we evaluate four deep generative models on a bicycle
frame design problem and structural topology generation problem. In particular,
we showcase the use of proposed metrics to quantify performance target
achievement, design novelty, and geometric constraints. We publicly release the
code for the datasets, models, and metrics used throughout the paper at
https://decode.mit.edu/projects/metrics/.
- Abstract(参考訳): 可変オートエンコーダ(VAE)、GAN(Generative Adversarial Networks)、拡散モデル(Diffusion Models)、トランスフォーマー(Transformers)といった深層生成モデルは、画像や音声合成、自然言語処理、薬物発見など、様々な分野で大きな可能性を示してきた。
しかし, 工学的設計問題に適用すると, 従来の統計指標が工学的応用の要件を完全に把握できないため, これらのモデルの性能評価は困難である。
本稿では, 工学設計における深層生成モデル(dgms)の評価指標のレビューと実践の指針を兼ね備える。
まず,機械学習理論を基礎とした深層生成モデルの古典的評価指標について概説する。
ケーススタディを使用して、これらのメトリクスが設計問題にうまく変換できない理由を強調すると同時に、確立された代替手段の欠如による頻繁な使用を見出す。
次に、異なる研究コミュニティにまたがって提案された設計特化指標のセットをキュレートし、深層生成モデルの評価に使用することができる。
これらのメトリクスは、制約満足度、機能性能、新規性、条件付けなど、設計とエンジニアリングにおけるユニークな要件に焦点を当てている。
議論を通じて、簡単な視覚的2次元例問題に基づいて訓練されたモデルにメトリクスを適用する。
最後に,自転車フレーム設計問題と構造トポロジー生成問題の4つの深層生成モデルを評価する。
特に,性能目標達成度,設計新しさ,幾何学的制約を定量化するために提案するメトリクスの利用について紹介する。
データセット、モデル、メトリクスのコードは、https://decode.mit.edu/projects/metrics/で公開しています。
関連論文リスト
- EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [72.52996858794533]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。
まず,大規模言語モデルの助けを借りて実世界のプロンプトリストを解析し,テキスト・ビデオ生成のための新しいプロンプトリストを作成する。
次に、視覚的品質、コンテンツ品質、動作品質、テキストキャプションアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文 参考訳(メタデータ) (2023-10-17T17:50:46Z) - Feature Likelihood Divergence: Evaluating the Generalization of
Generative Models Using Samples [25.657798631897908]
Feature Likelihood Divergenceは、生成モデルの包括的なトリコトミック評価を提供する。
我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
論文 参考訳(メタデータ) (2023-02-09T04:57:27Z) - Design Space Exploration and Explanation via Conditional Variational
Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges [52.77024349608834]
本稿では,条件付き変分オートエンコーダ(CVAE)による人間設計者向上のための性能駆動型設計探索フレームワークを提案する。
CVAEはスイスの歩行者橋の合成例18万件で訓練されている。
論文 参考訳(メタデータ) (2022-11-29T17:28:31Z) - Exploring and Evaluating Personalized Models for Code Generation [9.25440316608194]
パーソナライズのための変換器モデルの微調整を評価する。
i) すべてのモデルパラメータをチューニングできるカスタム微調整。
コード生成のためのこれらの微調整戦略を比較し、様々なデプロイメントシナリオにおいて、それぞれの潜在的な一般化とコスト効果について議論する。
論文 参考訳(メタデータ) (2022-08-29T23:28:46Z) - Design Automation for Fast, Lightweight, and Effective Deep Learning
Models: A Survey [53.258091735278875]
本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。
これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。
この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
論文 参考訳(メタデータ) (2022-08-22T12:12:43Z) - Towards Goal, Feasibility, and Diversity-Oriented Deep Generative Models
in Design [4.091593765662773]
我々は、パフォーマンス、実現可能性、多様性、目標達成を同時に最適化する最初のDeep Generative Modelを提案する。
異なるデータ型のスキュー・マルチモーダルデータを用いた多目的自転車フレーム設計問題に対して, 提案手法を検証した。
論文 参考訳(メタデータ) (2022-06-14T20:57:23Z) - Design Target Achievement Index: A Differentiable Metric to Enhance Deep
Generative Models in Multi-Objective Inverse Design [4.091593765662773]
設計目標達成指標(Design Target Achievement Index, DTAI)は、設計者が指定した最小パフォーマンス目標を達成するための設計能力を評価する、微分可能で調整可能な指標である。
DTAIをPaDGAN(Performance-Augmented Diverse GAN)に適用し,ベースラインのDeep Generative Modelよりも優れた生成性能を示す。
論文 参考訳(メタデータ) (2022-05-06T04:14:34Z) - Deep Generative Models in Engineering Design: A Review [1.933681537640272]
本稿では,工学設計におけるDeep Generative Learningモデルのレビューと分析を行う。
最近のDGMは、構造最適化、材料設計、形状合成といった設計応用において有望な結果を示している。
論文 参考訳(メタデータ) (2021-10-21T02:50:10Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳(メタデータ) (2020-04-26T12:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。