論文の概要: Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random
- arxiv url: http://arxiv.org/abs/2405.15403v1
- Date: Fri, 24 May 2024 10:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 15:01:48.409064
- Title: Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random
- Title（参考訳）: ランダムにないデータ欠落に対するバイアス分散結合最適化のための微粒化動的フレームワーク
- Authors: Mingming Ha, Xuewen Tao, Wenfang Lin, Qionxu Ma, Wujiang Xu, Linxun Chen,
- Abstract要約: レコメンデーションシステムやディスプレイ広告など、ほとんどの実践的なアプリケーションでは、収集されたデータには欠落する値が含まれることが多い。
我々は,バイアスと分散を協調的に最適化する,体系的なきめ細かな動的学習フレームワークを開発した。
- 参考スコア（独自算出の注目度）: 2.8165314121189247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In most practical applications such as recommendation systems, display advertising, and so forth, the collected data often contains missing values and those missing values are generally missing-not-at-random, which deteriorates the prediction performance of models. Some existing estimators and regularizers attempt to achieve unbiased estimation to improve the predictive performance. However, variances and generalization bound of these methods are generally unbounded when the propensity scores tend to zero, compromising their stability and robustness. In this paper, we first theoretically reveal that limitations of regularization techniques. Besides, we further illustrate that, for more general estimators, unbiasedness will inevitably lead to unbounded variance. These general laws inspire us that the estimator designs is not merely about eliminating bias, reducing variance, or simply achieve a bias-variance trade-off. Instead, it involves a quantitative joint optimization of bias and variance. Then, we develop a systematic fine-grained dynamic learning framework to jointly optimize bias and variance, which adaptively selects an appropriate estimator for each user-item pair according to the predefined objective function. With this operation, the generalization bounds and variances of models are reduced and bounded with theoretical guarantees. Extensive experiments are conducted to verify the theoretical results and the effectiveness of the proposed dynamic learning framework.
- Abstract（参考訳）: レコメンデーションシステムやディスプレイ広告など、ほとんどの実践的応用において、収集されたデータは、しばしば欠落した値を含んでおり、それらの欠落した値は、一般的には非ランダムであり、モデルの予測性能を低下させる。
既存の推定器と正規化器は予測性能を改善するために不偏推定を試みている。
しかしながら、これらの方法の分散と一般化は、確率スコアがゼロになる傾向にあるとき、その安定性と頑健さを妥協するときに、一般に非有界である。
本稿ではまず,正規化手法の限界を理論的に明らかにする。
さらに、より一般的な推定器では、不偏性は必然的に非有界な分散をもたらす。
これらの一般的な法則は、推定器の設計が単にバイアスを排除したり、ばらつきを減らしたり、単にバイアス-ばらつきのトレードオフを達成したりするだけではないことを示唆する。
代わりに、バイアスと分散の定量的な共同最適化が伴う。
そこで我々は,バイアスと分散を協調的に最適化する,体系的なきめ細かな動的学習フレームワークを開発し,事前に定義された目的関数に従って,各ユーザ・イテム対に対する適切な推定器を適応的に選択する。
この操作により、モデルの一般化境界と分散は減少し、理論的な保証と結び付けられる。
提案した動的学習フレームワークの理論的結果と有効性を検証するために,広範囲な実験を行った。
関連論文リスト
- Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。
学習シナリオにおける同値性に基づく単一のフレームワークを提案する。
我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文 参考訳（メタデータ） (2024-05-09T12:52:22Z) - Doubly Calibrated Estimator for Recommendation on Data Missing Not At
Random [20.889464448762176]
既存の推定器は誤判定された暗黙の誤りと正当性スコアに依存していると我々は主張する。
本稿では,計算モデルと確率モデルの両方のキャリブレーションを含む二重校正推定器を提案する。
論文 参考訳（メタデータ） (2024-02-26T05:08:52Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳（メタデータ） (2023-10-14T13:56:24Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳（メタデータ） (2023-10-12T16:04:41Z) - Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased
Recommendations [4.960902915238239]
本稿では,既存のデバイアス法に適用可能な理論的に保証されたモデル非依存バランス手法を提案する。
提案手法では, バイアスデータを用いて学習したモデルパラメータを補正し, バイアスデータのバランス係数を適応的に学習することで, バイアスデータを完全に活用する。
論文 参考訳（メタデータ） (2023-04-17T08:56:55Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。
条件付き推定は必然的に既約誤差を生じさせることを示す。
経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
論文 参考訳（メタデータ） (2022-06-21T17:46:35Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Weight-of-evidence 2.0 with shrinkage and spline-binning [3.925373521409752]
分類予測器を変換するための形式化、データ駆動、強力な方法を提案する。
我々は,重み付け手法を拡張し,縮尺推定器を用いて比例を推定することを提案する。
本稿では,提案手法の有効性を示す詐欺検出セットにおける一連の実験結果を示す。
論文 参考訳（メタデータ） (2021-01-05T13:13:16Z) - Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。
本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-25T15:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。