論文の概要: Learning from Invalid Data: On Constraint Satisfaction in Generative Models

• arxiv url: http://arxiv.org/abs/2306.15166v1
• Date: Tue, 27 Jun 2023 02:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-06-28 14:48:07.117261
• Title: Learning from Invalid Data: On Constraint Satisfaction in Generative Models
• Title（参考訳）: 無効データから学ぶ:生成モデルにおける制約満足について
• Authors: Giorgio Giannone, Lyle Regenwetter, Akash Srivastava, Dan Gutfreund, Faez Ahmed
• Abstract要約: 制約違反データポイントのデータセットを活用する新しいトレーニング機構を提案する。 提案手法は, 生成分布と有効前の分岐を最小限に抑えつつ, 無効分布との分岐を最大化する。 本研究は,2次元密度の不正サンプルを最大98%減少させる方法を示した。
• 参考スコア（独自算出の注目度）: 10.293118827116652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models have demonstrated impressive results in vision, language, and speech. However, even with massive datasets, they struggle with precision, generating physically invalid or factually incorrect data. This is particularly problematic when the generated data must satisfy constraints, for example, to meet product specifications in engineering design or to adhere to the laws of physics in a natural scene. To improve precision while preserving diversity and fidelity, we propose a novel training mechanism that leverages datasets of constraint-violating data points, which we consider invalid. Our approach minimizes the divergence between the generative distribution and the valid prior while maximizing the divergence with the invalid distribution. We demonstrate how generative models like GANs and DDPMs that we augment to train with invalid data vastly outperform their standard counterparts which solely train on valid data points. For example, our training procedure generates up to 98 % fewer invalid samples on 2D densities, improves connectivity and stability four-fold on a stacking block problem, and improves constraint satisfaction by 15 % on a structural topology optimization benchmark in engineering design. We also analyze how the quality of the invalid data affects the learning procedure and the generalization properties of models. Finally, we demonstrate significant improvements in sample efficiency, showing that a tenfold increase in valid samples leads to a negligible difference in constraint satisfaction, while less than 10 % invalid samples lead to a tenfold improvement. Our proposed mechanism offers a promising solution for improving precision in generative models while preserving diversity and fidelity, particularly in domains where constraint satisfaction is critical and data is limited, such as engineering design, robotics, and medicine.
• Abstract（参考訳）: 生成モデルは視覚、言語、スピーチにおいて印象的な結果を示した。 しかし、膨大なデータセットであっても、正確さに苦労し、物理的に無効あるいは事実的に不正なデータを生成する。 これは、例えば工学設計の製品仕様を満たすために、あるいは自然の場面で物理法則に従うために、生成されたデータが制約を満たさなければならない場合に特に問題となる。 多様性と忠実さを保ちながら精度を向上させるために,制約違反データポイントのデータセットを活用する新たなトレーニング機構を提案する。 提案手法は, 生成分布と有効前の分岐を最小限に抑えつつ, 無効分布との分岐を最大化する。 GANやDDPMといった、無効なデータでトレーニングする生成モデルが、有効なデータポイントのみをトレーニングする標準モデルよりも大幅に優れていることを示す。 例えば、2d密度の無効サンプルは最大98 %減少し、スタックブロック問題では接続性と安定性が4倍向上し、エンジニアリング設計における構造トポロジ最適化ベンチマークでは制約満足度が15 %向上した。 また,不正データの質が学習手順やモデルの一般化特性に与える影響についても分析した。 最後に, 有効試料の10倍増加は制約満足度に負の差をもたらすが, 無効試料の10%未満は10倍の改善をもたらすことを示す。 提案手法は, 工学設計, ロボティクス, 医療など, 制約満足度が重要かつ限られた領域において, 多様性と忠実性を保ちながら, 生成モデルの精度を向上させるための有望なソリューションを提供する。

関連論文リスト

• Deep Generative Models with Hard Linear Equality Constraints [24.93865980946986]
  本稿では,DGMにハード制約を強制し,制約に準拠したデータを生成する確率論的健全なアプローチを提案する。 5つの画像データセットと3つの科学的応用に関する様々なDGMモデルアーキテクチャを用いて実験を行った。 ジェネレーションにおける制約の満足度を保証するだけでなく、各ベンチマークの他のメソッドよりも優れた生成性能をアーカイブしています。
  論文  参考訳（メタデータ） (2025-02-08T02:53:32Z)
• Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
  視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。 その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
  論文  参考訳（メタデータ） (2024-10-17T17:59:59Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
  データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。 従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。 我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
  論文  参考訳（メタデータ） (2024-07-04T14:28:52Z)
• SynthForge: Synthesizing High-Quality Face Dataset with Controllable 3D Generative Models [8.004597666699036]
  生成モデルの最近の進歩は、フォトリアリスティックデータを制御可能な方法でレンダリングする能力を解き放った。 しかし、下流タスクのトレーニングにそのようなモデルを用いて生成されたデータの使用は、主に3D一貫性のあるアノテーションが欠如しているため、未調査のままである。 本実験は, 生成した合成データのみを用いた最先端モデルに対する競合性能を示し, 下流タスクの解決の可能性を示した。
  論文  参考訳（メタデータ） (2024-06-12T03:15:15Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• How Realistic Is Your Synthetic Data? Constraining Deep Generative Models for Tabular Data [57.97035325253996]
  本稿では,制約付き深部生成モデル(C-DGM)をリアルな合成データモデルに変換する方法について述べる。 C-DGMは、制約によって表現される背景知識を活用して、標準知識より優れている。
  論文  参考訳（メタデータ） (2024-02-07T13:22:05Z)
• Three-Stage Adjusted Regression Forecasting (TSARF) for Software Defect Prediction [5.826476252191368]
  非均一ポアソン過程 (NHPP) SRGM が最も一般的に用いられるモデルである。 モデル複雑性の増大は、堅牢で計算効率のよいアルゴリズムを識別する上での課題である。
  論文  参考訳（メタデータ） (2024-01-31T02:19:35Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories [18.266786462036553]
  我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。 さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-16T16:13:53Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
  最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。 我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:01Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• How to train your draGAN: A task oriented solution to imbalanced classification [15.893327571516016]
  本稿では,新しいアーキテクチャであるdraGANを用いた,ユニークでパフォーマンスを重視したデータ生成戦略を提案する。 サンプルは、実際のデータと類似性ではなく、分類モデルの性能を最適化する目的で生成される。 経験的に、draGANの優位性を示すと同時に、いくつかの欠点も強調する。
  論文  参考訳（メタデータ） (2022-11-18T07:37:34Z)
• Simultaneous Improvement of ML Model Fairness and Performance by Identifying Bias in Data [1.76179873429447]
  トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。 特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
  論文  参考訳（メタデータ） (2022-10-24T13:04:07Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Convex Smoothed Autoencoder-Optimal Transport model [0.0]
  我々は,観測データに類似したサンプルを生成することができ,モード崩壊やモード混合のない新しい生成モデルを開発した。 我々のモデルは、最近提案されたオートエンコーダ-最適輸送(AE-OT)モデルにインスパイアされ、AE-OTモデル自体が直面している問題に対処して改善を試みる。
  論文  参考訳（メタデータ） (2021-01-14T15:55:20Z)
• Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints [16.48824312904122]
  我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。 これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
  論文  参考訳（メタデータ） (2020-12-12T04:18:50Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。