論文の概要: Beyond Statistical Similarity: Rethinking Metrics for Deep Generative
Models in Engineering Design
- arxiv url: http://arxiv.org/abs/2302.02913v1
- Date: Mon, 6 Feb 2023 16:34:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 16:02:12.080150
- Title: Beyond Statistical Similarity: Rethinking Metrics for Deep Generative
Models in Engineering Design
- Title（参考訳）: 統計的類似性を超えて:エンジニアリング設計における深層生成モデルのためのメトリクス再考
- Authors: Lyle Regenwetter, Akash Srivastava, Dan Gutfreund, Faez Ahmed
- Abstract要約: 本稿では,工学設計における深部生成モデル(DGM)の評価指標のレビューと実践的ガイドとして,その2つを考察する。
まず,機械学習理論に基づく深部生成モデルに対する古典的評価指標を要約する。
次に、深い生成モデルを評価するために使用できる設計固有のメトリクスのセットをキュレートする。
- 参考スコア（独自算出の注目度）: 9.523982226872258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep generative models, such as Variational Autoencoders (VAEs), Generative
Adversarial Networks (GANs), Diffusion Models, and Transformers, have shown
great promise in a variety of applications, including image and speech
synthesis, natural language processing, and drug discovery. However, when
applied to engineering design problems, evaluating the performance of these
models can be challenging, as traditional statistical metrics based on
likelihood may not fully capture the requirements of engineering applications.
This paper doubles as a review and a practical guide to evaluation metrics for
deep generative models (DGMs) in engineering design. We first summarize
well-accepted `classic' evaluation metrics for deep generative models grounded
in machine learning theory and typical computer science applications. Using
case studies, we then highlight why these metrics seldom translate well to
design problems but see frequent use due to the lack of established
alternatives. Next, we curate a set of design-specific metrics which have been
proposed across different research communities and can be used for evaluating
deep generative models. These metrics focus on unique requirements in design
and engineering, such as constraint satisfaction, functional performance,
novelty, and conditioning. We structure our review and discussion as a set of
practical selection criteria and usage guidelines. Throughout our discussion,
we apply the metrics to models trained on simple 2-dimensional example
problems. Finally, to illustrate the selection process and classic usage of the
presented metrics, we evaluate three deep generative models on a multifaceted
bicycle frame design problem considering performance target achievement, design
novelty, and geometric constraints. We publicly release the code for the
datasets, models, and metrics used throughout the paper at
decode.mit.edu/projects/metrics/.
- Abstract（参考訳）: 可変オートエンコーダ(VAE)、GAN(Generative Adversarial Networks)、拡散モデル(Diffusion Models)、トランスフォーマー(Transformers)といった深層生成モデルは、画像や音声合成、自然言語処理、薬物発見など、様々な分野で大きな可能性を示してきた。
しかし, 工学的設計問題に適用すると, 従来の統計指標が工学的応用の要件を完全に把握できないため, これらのモデルの性能評価は困難である。
本稿では, 工学設計における深層生成モデル(dgms)の評価指標のレビューと実践的ガイドを兼用する。
まず、機械学習理論と典型的な計算機科学応用に基づく深層生成モデルの「古典的」評価指標を要約する。
ケーススタディを使用して、これらのメトリクスが設計問題にうまく変換できない理由を強調すると同時に、確立された代替手段の欠如による頻繁な使用を見出す。
次に、異なる研究コミュニティにまたがって提案された設計特化指標のセットをキュレートし、深層生成モデルの評価に使用することができる。
これらのメトリクスは、制約満足度、機能性能、新規性、条件付けなど、設計とエンジニアリングにおけるユニークな要件に焦点を当てている。
我々は,レビューと議論を,実践的選択基準と利用ガイドラインのセットとして構成する。
議論を通じて、単純な2次元の例問題に基づいてトレーニングされたモデルにメトリクスを適用する。
最後に,提案指標の選択過程と古典的使用法を説明するために,性能目標達成,設計の新規性,幾何学的制約を考慮した多面自転車フレーム設計問題に対する3つの深い生成モデルの評価を行った。
decode.mit.edu/projects/metrics/の論文で使われているデータセット、モデル、メトリクスのコードを公開します。
関連論文リスト
- Adaptable Embeddings Network (AEN) [49.1574468325115]
我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。
AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。
アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
論文 参考訳（メタデータ） (2024-11-21T02:15:52Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Comprehensive Study on Performance Evaluation and Optimization of Model Compression: Bridging Traditional Deep Learning and Large Language Models [0.0]
世界中のコネクテッドデバイスの数の増加は、計算能力の低いローカルデバイスに容易に展開できる圧縮モデルを保証する。
画像分類,オブジェクト検出,言語モデル,生成モデルに基づく問題文に使用される一般的なディープラーニングモデルに対して,量子化とプルーニングの両方を実装した。
論文 参考訳（メタデータ） (2024-07-22T14:20:53Z) - OLMES: A Standard for Language Model Evaluations [64.85905119836818]
再現可能な言語モデル評価のための実用的でオープンな標準であるOLMESを提案する。
我々は,コミュニティが採用する評価実践において,様々な要因を特定し,検討する。
OLMESは、複数の質問の非自然な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。
論文 参考訳（メタデータ） (2024-06-12T17:37:09Z) - Feature Likelihood Divergence: Evaluating the Generalization of
Generative Models Using Samples [25.657798631897908]
Feature Likelihood Divergenceは、生成モデルの包括的なトリコトミック評価を提供する。
我々は,以前に提案された指標が失敗した場合でも,FLDが過度に適合する問題を識別できることを実証的に示す。
論文 参考訳（メタデータ） (2023-02-09T04:57:27Z) - Design Space Exploration and Explanation via Conditional Variational
Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges [52.77024349608834]
本稿では,条件付き変分オートエンコーダ(CVAE)による人間設計者向上のための性能駆動型設計探索フレームワークを提案する。
CVAEはスイスの歩行者橋の合成例18万件で訓練されている。
論文 参考訳（メタデータ） (2022-11-29T17:28:31Z) - Exploring and Evaluating Personalized Models for Code Generation [9.25440316608194]
パーソナライズのための変換器モデルの微調整を評価する。
i) すべてのモデルパラメータをチューニングできるカスタム微調整。
コード生成のためのこれらの微調整戦略を比較し、様々なデプロイメントシナリオにおいて、それぞれの潜在的な一般化とコスト効果について議論する。
論文 参考訳（メタデータ） (2022-08-29T23:28:46Z) - Towards Goal, Feasibility, and Diversity-Oriented Deep Generative Models
in Design [4.091593765662773]
我々は、パフォーマンス、実現可能性、多様性、目標達成を同時に最適化する最初のDeep Generative Modelを提案する。
異なるデータ型のスキュー・マルチモーダルデータを用いた多目的自転車フレーム設計問題に対して, 提案手法を検証した。
論文 参考訳（メタデータ） (2022-06-14T20:57:23Z) - Design Target Achievement Index: A Differentiable Metric to Enhance Deep
Generative Models in Multi-Objective Inverse Design [4.091593765662773]
設計目標達成指標(Design Target Achievement Index, DTAI)は、設計者が指定した最小パフォーマンス目標を達成するための設計能力を評価する、微分可能で調整可能な指標である。
DTAIをPaDGAN(Performance-Augmented Diverse GAN)に適用し,ベースラインのDeep Generative Modelよりも優れた生成性能を示す。
論文 参考訳（メタデータ） (2022-05-06T04:14:34Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳（メタデータ） (2020-04-26T12:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。