論文の概要: Training Deep Normalizing Flow Models in Highly Incomplete Data
Scenarios with Prior Regularization
- arxiv url: http://arxiv.org/abs/2104.01482v1
- Date: Sat, 3 Apr 2021 20:57:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 14:50:50.277582
- Title: Training Deep Normalizing Flow Models in Highly Incomplete Data
Scenarios with Prior Regularization
- Title(参考訳): 事前正規化を伴う不完全データシナリオにおける深い正規化フローモデルの訓練
- Authors: Edgar A. Bernal
- Abstract要約: ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。
提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
- 参考スコア(独自算出の注目度): 13.985534521589257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative frameworks including GANs and normalizing flow models have
proven successful at filling in missing values in partially observed data
samples by effectively learning -- either explicitly or implicitly -- complex,
high-dimensional statistical distributions. In tasks where the data available
for learning is only partially observed, however, their performance decays
monotonically as a function of the data missingness rate. In high missing data
rate regimes (e.g., 60% and above), it has been observed that state-of-the-art
models tend to break down and produce unrealistic and/or semantically
inaccurate data. We propose a novel framework to facilitate the learning of
data distributions in high paucity scenarios that is inspired by traditional
formulations of solutions to ill-posed problems. The proposed framework
naturally stems from posing the process of learning from incomplete data as a
joint optimization task of the parameters of the model being learned and the
missing data values. The method involves enforcing a prior regularization term
that seamlessly integrates with objectives used to train explicit and tractable
deep generative frameworks such as deep normalizing flow models. We demonstrate
via extensive experimental validation that the proposed framework outperforms
competing techniques, particularly as the rate of data paucity approaches
unity.
- Abstract(参考訳): GANや正規化フローモデルを含む深い生成フレームワークは、部分的に観察されたデータサンプルの欠落した値を、明示的にも暗黙的にも、複雑で高次元の統計分布を効果的に学習することで埋めることに成功した。
しかし、学習に利用可能なデータが部分的にのみ観測されるタスクでは、その性能はデータ不足率の関数として単調に低下する。
高機能なデータレート(60%以上)では、最先端のモデルが分解され、非現実的で意味的に不正確なデータを生成する傾向が観察されている。
本研究では,問題に対する従来のソリューションの定式化にインスパイアされた,高明度シナリオにおけるデータ分散の学習を容易にする新しいフレームワークを提案する。
提案手法は,学習対象モデルのパラメータと欠落したデータ値の同時最適化タスクとして,不完全データから学習するプロセスを構成することに由来する。
この手法は、深い正規化フローモデルのような明示的で牽引可能な深い生成フレームワークを訓練するために使用される目的とシームレスに統合する事前正規化項を強制する。
本稿では,提案フレームワークが競合する手法,特にデータポーシティがユニティに近づく速度を上回っていることを実験的検証により実証する。
関連論文リスト
- Temporal Disentangled Contrastive Diffusion Model for Spatiotemporal
Imputation [36.80005620519233]
C$2$TSDは、トレンド情報と季節情報を条件付き特徴として取り入れ、モデル一般化性を改善するために対照的な学習を採用する新しいアプローチである。
3つの実世界のデータセットに対する実験は、様々な最先端ベースラインよりもC$2$TSDの方が優れた性能を示している。
論文 参考訳(メタデータ) (2024-02-18T11:59:04Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in
Influence Estimation [58.20016784231991]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳(メタデータ) (2024-01-17T07:58:18Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Towards Accelerated Model Training via Bayesian Data Selection [45.62338106716745]
本稿では,モデルの一般化損失に対するデータの影響を調べることによって,より合理的なデータ選択原理を提案する。
近年の研究では、モデルの一般化損失に対するデータの影響を調べることによって、より合理的なデータ選択の原則が提案されている。
この研究は、軽量ベイズ処理を活用し、大規模な事前訓練モデル上に構築された既製のゼロショット予測器を組み込むことにより、これらの問題を解決する。
論文 参考訳(メタデータ) (2023-08-21T07:58:15Z) - MissDiff: Training Diffusion Models on Tabular Data with Missing Values [29.894691645801597]
この研究は、欠落した値を持つデータから学習するための統一的で原則化された拡散ベースのフレームワークを示す。
まず、広く採用されている「インプット・ザ・ジェネレーション」パイプラインが、バイアスのある学習目標に繋がる可能性があることを観察する。
提案手法は,データ分布のスコアの学習に一貫性があることを証明し,提案手法は特定の場合において負の確率の上限として機能する。
論文 参考訳(メタデータ) (2023-07-02T03:49:47Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Variational Gibbs Inference for Statistical Model Estimation from
Incomplete Data [7.4250022679087495]
不完全データから統計モデルのパラメータを推定する新しい汎用手法である変分ギブス推論(VGI)を導入する。
不完全データからの変分オートエンコーダや正規化フローなどの重要な機械学習モデルを推定し、VGIを一連の合成および実世界の推定タスクで検証する。
論文 参考訳(メタデータ) (2021-11-25T17:22:22Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - MAIN: Multihead-Attention Imputation Networks [4.427447378048202]
本稿では,任意のモデルに適用可能なマルチヘッドアテンションに基づく新しいメカニズムを提案する。
提案手法は、下流タスクの性能を向上させるために、入力データの欠落パターンを誘導的にモデル化する。
論文 参考訳(メタデータ) (2021-02-10T13:50:02Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。