論文の概要: Evaluation of Categorical Generative Models -- Bridging the Gap Between
Real and Synthetic Data
- arxiv url: http://arxiv.org/abs/2210.16405v1
- Date: Fri, 28 Oct 2022 21:05:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 18:03:37.220297
- Title: Evaluation of Categorical Generative Models -- Bridging the Gap Between
Real and Synthetic Data
- Title（参考訳）: カテゴリー生成モデルの評価 -実データと合成データのギャップの橋渡し-
- Authors: Florence Regol, Anja Kroon, Mark Coates
- Abstract要約: 生成モデルに対する適切な拡張性の評価手法を提案する。
我々は、より困難なモデリングタスクに対応する、ますます大きな確率空間を考える。
我々は, 合成生成モデルと最先端のカテゴリー生成モデルの両方について, 合成実験により評価方法を検証する。
- 参考スコア（独自算出の注目度）: 18.142397311464343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The machine learning community has mainly relied on real data to benchmark
algorithms as it provides compelling evidence of model applicability.
Evaluation on synthetic datasets can be a powerful tool to provide a better
understanding of a model's strengths, weaknesses, and overall capabilities.
Gaining these insights can be particularly important for generative modeling as
the target quantity is completely unknown. Multiple issues related to the
evaluation of generative models have been reported in the literature. We argue
those problems can be avoided by an evaluation based on ground truth. General
criticisms of synthetic experiments are that they are too simplified and not
representative of practical scenarios. As such, our experimental setting is
tailored to a realistic generative task. We focus on categorical data and
introduce an appropriately scalable evaluation method. Our method involves
tasking a generative model to learn a distribution in a high-dimensional
setting. We then successively bin the large space to obtain smaller probability
spaces where meaningful statistical tests can be applied. We consider
increasingly large probability spaces, which correspond to increasingly
difficult modeling tasks and compare the generative models based on the highest
task difficulty they can reach before being detected as being too far from the
ground truth. We validate our evaluation procedure with synthetic experiments
on both synthetic generative models and current state-of-the-art categorical
generative models.
- Abstract（参考訳）: 機械学習コミュニティは主に、モデル適用可能性を示す説得力のある証拠を提供するため、実際のデータをベンチマークアルゴリズムに頼ってきた。
合成データセットの評価は、モデルの強み、弱み、全体的な能力をよりよく理解するための強力なツールになり得る。
これらの洞察を得ることは、対象量は完全に未知であるため、生成モデリングにおいて特に重要である。
生成モデルの評価に関する複数の問題が文献に報告されている。
これらの問題は根拠の真理に基づく評価によって回避できると主張する。
合成実験の一般的な批判は、それらがあまりに単純化され、現実的なシナリオを代表していないことである。
このように、我々の実験環境は現実的な生成タスクに適合する。
分類データに着目し,スケーラブルな評価手法を提案する。
本手法では,高次元環境における分布の学習を生成モデルに委ねる。
次に, 有意義な統計的テストが適用可能なより小さな確率空間を得るために, 大空間を連続的にビン化する。
我々は、ますます大きな確率空間を考える。これはますます難しいモデリングタスクに対応し、基底的真理から遠すぎると検出される前に到達できる最も高いタスク難易度に基づいて生成モデルを比較する。
我々は,合成生成モデルと最先端のカテゴリー生成モデルの両方を用いた合成実験による評価方法を検証する。
関連論文リスト
- Forte : Finding Outliers with Representation Typicality Estimation [0.14061979259370275]
生成モデルは、それを訓練する実際のデータとほぼ区別できない合成データを生成することができる。
OOD検出に関する最近の研究は、生成モデルの可能性が最適なOOD検出器であるという疑念を提起している。
本稿では,表現学習と,多様体推定に基づく情報的要約統計を利用した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T08:26:37Z) - When is an Embedding Model More Promising than Another? [33.540506562970776]
埋め込みは機械学習において中心的な役割を担い、あらゆるオブジェクトを数値表現に投影し、様々な下流タスクを実行するために利用することができる。
埋め込みモデルの評価は一般にドメイン固有の経験的アプローチに依存する。
本稿では, 組込み器の評価を統一的に行い, 充足性と情報性の概念を考察する。
論文 参考訳（メタデータ） (2024-06-11T18:13:46Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - Utility Theory of Synthetic Data Generation [12.511220449652384]
本稿では,統計的学習フレームワークにおける実用理論の確立により,実践と理論のギャップを埋める。
合成データに基づいてトレーニングされたモデルの一般化とランキングの2つのユーティリティメトリクスを考慮に入れている。
論文 参考訳（メタデータ） (2023-05-17T07:49:16Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Learnability of Competitive Threshold Models [11.005966612053262]
理論的観点から,競合しきい値モデルの学習可能性について検討する。
ニューラルネットワークによって競合しきい値モデルをシームレスにシミュレートする方法を実証する。
論文 参考訳（メタデータ） (2022-05-08T01:11:51Z) - Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。
提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。
提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-22T15:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。