論文の概要: Estimation Beyond Data Reweighting: Kernel Method of Moments
- arxiv url: http://arxiv.org/abs/2305.10898v2
- Date: Tue, 13 Jun 2023 12:35:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 17:07:10.799148
- Title: Estimation Beyond Data Reweighting: Kernel Method of Moments
- Title(参考訳): データ重み付けを超えた推定:モーメントのカーネル法
- Authors: Heiner Kremer, Yassine Nemmour, Bernhard Sch\"olkopf, Jia-Jie Zhu
- Abstract要約: モーメントのカーネル法(KMM)と呼ばれる最大平均誤差に基づく経験的確率推定器を提供する。
条件付きモーメント制限タスクにおいて,本手法が競合性能を達成することを示す。
- 参考スコア(独自算出の注目度): 9.845144212844662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Moment restrictions and their conditional counterparts emerge in many areas
of machine learning and statistics ranging from causal inference to
reinforcement learning. Estimators for these tasks, generally called methods of
moments, include the prominent generalized method of moments (GMM) which has
recently gained attention in causal inference. GMM is a special case of the
broader family of empirical likelihood estimators which are based on
approximating a population distribution by means of minimizing a
$\varphi$-divergence to an empirical distribution. However, the use of
$\varphi$-divergences effectively limits the candidate distributions to
reweightings of the data samples. We lift this long-standing limitation and
provide a method of moments that goes beyond data reweighting. This is achieved
by defining an empirical likelihood estimator based on maximum mean discrepancy
which we term the kernel method of moments (KMM). We provide a variant of our
estimator for conditional moment restrictions and show that it is
asymptotically first-order optimal for such problems. Finally, we show that our
method achieves competitive performance on several conditional moment
restriction tasks.
- Abstract(参考訳): モーメント制限とその条件付き制約は、因果推論から強化学習まで、機械学習と統計学の多くの分野に現れる。
一般にモーメントの方法と呼ばれるこれらのタスクの見積もりには、最近因果推論に注目が集まっている顕著な一般化モーメントの方法(GMM)が含まれる。
GMMは、経験的分布に$\varphi$-divergenceを最小化することで、人口分布を近似する経験的可能性推定器のより広いファミリーの特殊なケースである。
しかし、$\varphi$-divergencesの使用は、候補分布をデータサンプルの再重み付けに効果的に制限する。
この長期的制限を解除し、データ再重み付けを超えたモーメントの方法を提供します。
これは、モーメントのカーネル法(KMM)と呼ばれる最大平均誤差に基づいて、経験的確率推定器を定義することで達成される。
条件付きモーメント制約に対する推定器の変種を提供し,そのような問題に対して漸近的に最適であることを示す。
最後に,複数の条件モーメント制限タスクにおいて,本手法が競合性能を達成することを示す。
関連論文リスト
- Loss Shaping Constraints for Long-Term Time Series Forecasting [86.6877920044998]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:20:44Z) - Functional Generalized Empirical Likelihood Estimation for Conditional
Moment Restrictions [19.39005034948997]
一般化経験的可能性(GEL)に基づく新しい推定法を提案する。
GELはより一般的なフレームワークを提供しており、GMMベースの推定器と比較して、より好ましい小さなサンプル特性を享受していることが示されている。
本研究では,2つの条件付きモーメント制約問題に対して,最先端の実証性能を実現するための,カーネルとニューラルネットワークによる推定器の実装を提案する。
論文 参考訳(メタデータ) (2022-07-11T11:02:52Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳(メタデータ) (2021-01-19T18:55:29Z) - The Variational Method of Moments [65.91730154730905]
条件モーメント問題は、観測可能量の観点から構造因果パラメータを記述するための強力な定式化である。
OWGMMの変動最小値再構成により、条件モーメント問題に対する非常に一般的な推定器のクラスを定義する。
同じ種類の変分変換に基づく統計的推測のためのアルゴリズムを提供する。
論文 参考訳(メタデータ) (2020-12-17T07:21:06Z) - Asymptotics of the Empirical Bootstrap Method Beyond Asymptotic
Normality [25.402400996745058]
実験的なブートストラップ推定器の限界分布は, 安定条件下では一定であることを示す。
本稿では,ブートストラップ法を用いて,カバレッジ保証付き信頼区間を構築するための3つの方法を提案する。
論文 参考訳(メタデータ) (2020-11-23T07:14:30Z) - Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。
複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
論文 参考訳(メタデータ) (2020-10-21T13:43:48Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳(メタデータ) (2020-10-11T19:05:49Z) - Generalization Bounds in the Presence of Outliers: a Median-of-Means
Study [8.905677748354364]
Median-of-Means (MoM) は平方可積分 r.v.$Z$ の平均$theta$ の推定量である。
ヘビーテールのデータに対する高い信頼性のおかげで、MoMは機械学習に様々な応用を見出した。
新たな作業ラインは、MoMが破損したデータに対処する能力を特徴付け、活用しようとしている。
論文 参考訳(メタデータ) (2020-06-09T13:21:39Z) - Robust subgaussian estimation with VC-dimension [0.0]
この研究は、MOM推定器の余剰リスクを束縛する新しい一般的な方法を提案する。
中心となる技術は、統計複雑性を測定するためにVC次元(ラデマッハの複雑さの代わりに)を用いることである。
論文 参考訳(メタデータ) (2020-04-24T13:21:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。