論文の概要: Training Deep Normalizing Flow Models in Highly Incomplete Data
Scenarios with Prior Regularization
- arxiv url: http://arxiv.org/abs/2104.01482v1
- Date: Sat, 3 Apr 2021 20:57:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 14:50:50.277582
- Title: Training Deep Normalizing Flow Models in Highly Incomplete Data
Scenarios with Prior Regularization
- Title（参考訳）: 事前正規化を伴う不完全データシナリオにおける深い正規化フローモデルの訓練
- Authors: Edgar A. Bernal
- Abstract要約: ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。
提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
- 参考スコア（独自算出の注目度）: 13.985534521589257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative frameworks including GANs and normalizing flow models have
proven successful at filling in missing values in partially observed data
samples by effectively learning -- either explicitly or implicitly -- complex,
high-dimensional statistical distributions. In tasks where the data available
for learning is only partially observed, however, their performance decays
monotonically as a function of the data missingness rate. In high missing data
rate regimes (e.g., 60% and above), it has been observed that state-of-the-art
models tend to break down and produce unrealistic and/or semantically
inaccurate data. We propose a novel framework to facilitate the learning of
data distributions in high paucity scenarios that is inspired by traditional
formulations of solutions to ill-posed problems. The proposed framework
naturally stems from posing the process of learning from incomplete data as a
joint optimization task of the parameters of the model being learned and the
missing data values. The method involves enforcing a prior regularization term
that seamlessly integrates with objectives used to train explicit and tractable
deep generative frameworks such as deep normalizing flow models. We demonstrate
via extensive experimental validation that the proposed framework outperforms
competing techniques, particularly as the rate of data paucity approaches
unity.
- Abstract（参考訳）: GANや正規化フローモデルを含む深い生成フレームワークは、部分的に観察されたデータサンプルの欠落した値を、明示的にも暗黙的にも、複雑で高次元の統計分布を効果的に学習することで埋めることに成功した。
しかし、学習に利用可能なデータが部分的にのみ観測されるタスクでは、その性能はデータ不足率の関数として単調に低下する。
高機能なデータレート(60%以上)では、最先端のモデルが分解され、非現実的で意味的に不正確なデータを生成する傾向が観察されている。
本研究では,問題に対する従来のソリューションの定式化にインスパイアされた,高明度シナリオにおけるデータ分散の学習を容易にする新しいフレームワークを提案する。
提案手法は,学習対象モデルのパラメータと欠落したデータ値の同時最適化タスクとして,不完全データから学習するプロセスを構成することに由来する。
この手法は、深い正規化フローモデルのような明示的で牽引可能な深い生成フレームワークを訓練するために使用される目的とシームレスに統合する事前正規化項を強制する。
本稿では,提案フレームワークが競合する手法,特にデータポーシティがユニティに近づく速度を上回っていることを実験的検証により実証する。
関連論文リスト
- Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。
具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。
我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:01:58Z) - Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows [0.0]
本研究では,異常検出システムにおける機械学習モデル,特にランダムフォレストの有効性について検討した。
実世界のリアルタイムネットワーク環境に典型的な不完全なデータにモデルを適用する際に生じる性能格差について検討する。
論文 参考訳（メタデータ） (2024-07-03T07:14:25Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - MissDiff: Training Diffusion Models on Tabular Data with Missing Values [29.894691645801597]
この研究は、欠落した値を持つデータから学習するための統一的で原則化された拡散ベースのフレームワークを示す。
まず、広く採用されている「インプット・ザ・ジェネレーション」パイプラインが、バイアスのある学習目標に繋がる可能性があることを観察する。
提案手法は,データ分布のスコアの学習に一貫性があることを証明し,提案手法は特定の場合において負の確率の上限として機能する。
論文 参考訳（メタデータ） (2023-07-02T03:49:47Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Variational Gibbs Inference for Statistical Model Estimation from
Incomplete Data [7.4250022679087495]
不完全データから統計モデルのパラメータを推定する新しい汎用手法である変分ギブス推論(VGI)を導入する。
不完全データからの変分オートエンコーダや正規化フローなどの重要な機械学習モデルを推定し、VGIを一連の合成および実世界の推定タスクで検証する。
論文 参考訳（メタデータ） (2021-11-25T17:22:22Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - MAIN: Multihead-Attention Imputation Networks [4.427447378048202]
本稿では,任意のモデルに適用可能なマルチヘッドアテンションに基づく新しいメカニズムを提案する。
提案手法は、下流タスクの性能を向上させるために、入力データの欠落パターンを誘導的にモデル化する。
論文 参考訳（メタデータ） (2021-02-10T13:50:02Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳（メタデータ） (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。