論文の概要: Learning from Invalid Data: On Constraint Satisfaction in Generative Models

• arxiv url: http://arxiv.org/abs/2306.15166v1
• Date: Tue, 27 Jun 2023 02:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 14:48:07.117261
• Title: Learning from Invalid Data: On Constraint Satisfaction in Generative Models
• Title（参考訳）: 無効データから学ぶ:生成モデルにおける制約満足について
• Authors: Giorgio Giannone, Lyle Regenwetter, Akash Srivastava, Dan Gutfreund, Faez Ahmed
• Abstract要約: 制約違反データポイントのデータセットを活用する新しいトレーニング機構を提案する。 提案手法は, 生成分布と有効前の分岐を最小限に抑えつつ, 無効分布との分岐を最大化する。 本研究は,2次元密度の不正サンプルを最大98%減少させる方法を示した。
• 参考スコア（独自算出の注目度）: 10.293118827116652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models have demonstrated impressive results in vision, language, and speech. However, even with massive datasets, they struggle with precision, generating physically invalid or factually incorrect data. This is particularly problematic when the generated data must satisfy constraints, for example, to meet product specifications in engineering design or to adhere to the laws of physics in a natural scene. To improve precision while preserving diversity and fidelity, we propose a novel training mechanism that leverages datasets of constraint-violating data points, which we consider invalid. Our approach minimizes the divergence between the generative distribution and the valid prior while maximizing the divergence with the invalid distribution. We demonstrate how generative models like GANs and DDPMs that we augment to train with invalid data vastly outperform their standard counterparts which solely train on valid data points. For example, our training procedure generates up to 98 % fewer invalid samples on 2D densities, improves connectivity and stability four-fold on a stacking block problem, and improves constraint satisfaction by 15 % on a structural topology optimization benchmark in engineering design. We also analyze how the quality of the invalid data affects the learning procedure and the generalization properties of models. Finally, we demonstrate significant improvements in sample efficiency, showing that a tenfold increase in valid samples leads to a negligible difference in constraint satisfaction, while less than 10 % invalid samples lead to a tenfold improvement. Our proposed mechanism offers a promising solution for improving precision in generative models while preserving diversity and fidelity, particularly in domains where constraint satisfaction is critical and data is limited, such as engineering design, robotics, and medicine.
• Abstract（参考訳）: 生成モデルは視覚、言語、スピーチにおいて印象的な結果を示した。 しかし、膨大なデータセットであっても、正確さに苦労し、物理的に無効あるいは事実的に不正なデータを生成する。 これは、例えば工学設計の製品仕様を満たすために、あるいは自然の場面で物理法則に従うために、生成されたデータが制約を満たさなければならない場合に特に問題となる。 多様性と忠実さを保ちながら精度を向上させるために,制約違反データポイントのデータセットを活用する新たなトレーニング機構を提案する。 提案手法は, 生成分布と有効前の分岐を最小限に抑えつつ, 無効分布との分岐を最大化する。 GANやDDPMといった、無効なデータでトレーニングする生成モデルが、有効なデータポイントのみをトレーニングする標準モデルよりも大幅に優れていることを示す。 例えば、2d密度の無効サンプルは最大98 %減少し、スタックブロック問題では接続性と安定性が4倍向上し、エンジニアリング設計における構造トポロジ最適化ベンチマークでは制約満足度が15 %向上した。 また,不正データの質が学習手順やモデルの一般化特性に与える影響についても分析した。 最後に, 有効試料の10倍増加は制約満足度に負の差をもたらすが, 無効試料の10%未満は10倍の改善をもたらすことを示す。 提案手法は, 工学設計, ロボティクス, 医療など, 制約満足度が重要かつ限られた領域において, 多様性と忠実性を保ちながら, 生成モデルの精度を向上させるための有望なソリューションを提供する。

関連論文リスト

• Deep Generative Models with Hard Linear Equality Constraints [24.93865980946986]
  本稿では,DGMにハード制約を強制し,制約に準拠したデータを生成する確率論的健全なアプローチを提案する。 5つの画像データセットと3つの科学的応用に関する様々なDGMモデルアーキテクチャを用いて実験を行った。 ジェネレーションにおける制約の満足度を保証するだけでなく、各ベンチマークの他のメソッドよりも優れた生成性能をアーカイブしています。
  論文  参考訳（メタデータ） (2025-02-08T02:53:32Z)
• Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
  視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。 その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
  論文  参考訳（メタデータ） (2024-10-17T17:59:59Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• SynthForge: Synthesizing High-Quality Face Dataset with Controllable 3D Generative Models [8.004597666699036]
  生成モデルの最近の進歩は、フォトリアリスティックデータを制御可能な方法でレンダリングする能力を解き放った。 しかし、下流タスクのトレーニングにそのようなモデルを用いて生成されたデータの使用は、主に3D一貫性のあるアノテーションが欠如しているため、未調査のままである。 本実験は, 生成した合成データのみを用いた最先端モデルに対する競合性能を示し, 下流タスクの解決の可能性を示した。
  論文  参考訳（メタデータ） (2024-06-12T03:15:15Z)
• How Realistic Is Your Synthetic Data? Constraining Deep Generative Models for Tabular Data [57.97035325253996]
  本稿では,制約付き深部生成モデル(C-DGM)をリアルな合成データモデルに変換する方法について述べる。 C-DGMは、制約によって表現される背景知識を活用して、標準知識より優れている。
  論文  参考訳（メタデータ） (2024-02-07T13:22:05Z)
• Three-Stage Adjusted Regression Forecasting (TSARF) for Software Defect Prediction [5.826476252191368]
  非均一ポアソン過程 (NHPP) SRGM が最も一般的に用いられるモデルである。 モデル複雑性の増大は、堅牢で計算効率のよいアルゴリズムを識別する上での課題である。
  論文  参考訳（メタデータ） (2024-01-31T02:19:35Z)
• Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
  最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。 我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:01Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• How to train your draGAN: A task oriented solution to imbalanced classification [15.893327571516016]
  本稿では,新しいアーキテクチャであるdraGANを用いた,ユニークでパフォーマンスを重視したデータ生成戦略を提案する。 サンプルは、実際のデータと類似性ではなく、分類モデルの性能を最適化する目的で生成される。 経験的に、draGANの優位性を示すと同時に、いくつかの欠点も強調する。
  論文  参考訳（メタデータ） (2022-11-18T07:37:34Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Convex Smoothed Autoencoder-Optimal Transport model [0.0]
  我々は,観測データに類似したサンプルを生成することができ,モード崩壊やモード混合のない新しい生成モデルを開発した。 我々のモデルは、最近提案されたオートエンコーダ-最適輸送(AE-OT)モデルにインスパイアされ、AE-OTモデル自体が直面している問題に対処して改善を試みる。
  論文  参考訳（メタデータ） (2021-01-14T15:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。