論文の概要: Scalable and hyper-parameter-free non-parametric covariate shift
adaptation with conditional sampling
- arxiv url: http://arxiv.org/abs/2312.09969v1
- Date: Fri, 15 Dec 2023 17:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 14:41:27.742320
- Title: Scalable and hyper-parameter-free non-parametric covariate shift
adaptation with conditional sampling
- Title(参考訳): 条件付きサンプリングによる拡張性と超パラメータフリー非パラメトリック共変量シフト適応
- Authors: Fran\c{c}ois Portier, Lionel Truquet, Ikko Yamane
- Abstract要約: 共変量シフト適応に対する新しい非パラメトリックアプローチを提案する。
私たちの基本的な考え方は、ソースデータセットにある$k$-nearestの隣人によってラベル付けされていないターゲットデータをラベル付けすることにあります。
その結果,対象データの結合確率分布を推定するための収束速度が急上昇することがわかった。
- 参考スコア(独自算出の注目度): 2.969582361376132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many existing covariate shift adaptation methods estimate sample weights to
be used in the risk estimation in order to mitigate the gap between the source
and the target distribution. However, non-parametrically estimating the optimal
weights typically involves computationally expensive hyper-parameter tuning
that is crucial to the final performance. In this paper, we propose a new
non-parametric approach to covariate shift adaptation which avoids estimating
weights and has no hyper-parameter to be tuned. Our basic idea is to label
unlabeled target data according to the $k$-nearest neighbors in the source
dataset. Our analysis indicates that setting $k = 1$ is an optimal choice.
Thanks to this property, there is no need to tune any hyper-parameters, unlike
other non-parametric methods. Moreover, our method achieves a running time
quasi-linear in the sample size with a theoretical guarantee, for the first
time in the literature to the best of our knowledge. Our results include sharp
rates of convergence for estimating the joint probability distribution of the
target data. In particular, the variance of our estimators has the same rate of
convergence as for standard parametric estimation despite their non-parametric
nature. Our numerical experiments show that proposed method brings drastic
reduction in the running time with accuracy comparable to that of the
state-of-the-art methods.
- Abstract(参考訳): 多くの既存の共変量シフト適応法では、ソースとターゲット分布のギャップを緩和するために、リスク推定に使用するサンプル重みを推定している。
しかしながら、最適重みを非パラメトリックに推定するには、通常、最終的な性能に不可欠な計算コストの高いハイパーパラメータチューニングが必要となる。
本稿では,重み推定を回避し,過度パラメータを調整できない共変量シフト適応のための新しい非パラメトリックアプローチを提案する。
私たちの基本的なアイデアは、ソースデータセット内の$k$-nearestの隣人に従って、ラベルなしのターゲットデータをラベル付けすることです。
我々の分析は、$k = 1$の設定が最適な選択であることを示している。
この性質のおかげで、他の非パラメトリックな方法とは異なり、ハイパーパラメータをチューニングする必要はない。
さらに,本手法は,文献の知識を最大限に活用する初めて,理論的な保証により,サンプルサイズで準線形な実行時間を実現する。
本研究の結果は,対象データの結合確率分布を推定するための収束の急激な速度を含む。
特に、我々の推定器の分散は、非パラメトリックな性質にもかかわらず標準パラメトリック推定と同じ収束率を持つ。
数値実験により,提案手法は最先端手法に匹敵する精度で実行時間を大幅に短縮できることを示した。
関連論文リスト
- Kernel Debiased Plug-in Estimation: Simultaneous, Automated Debiasing
without Influence Functions for Many Target Parameters [1.7478203318226313]
カーネル・デバイアスド・プラグイン推定(KDPE)という新しい手法を提案する。
KDPEは、我々の規則性条件を満たす全ての微分可能なターゲットパラメータを同時に分離する。
我々は、KDPEの使用法を数値的に説明し、理論結果を検証した。
論文 参考訳(メタデータ) (2023-06-14T15:58:50Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。
固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。
物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
論文 参考訳(メタデータ) (2023-01-31T16:33:46Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Estimation of Local Average Treatment Effect by Data Combination [3.655021726150368]
治療課題の遵守が不完全である場合には、局所的平均治療効果(LATE)を推定することが重要である。
以前提案されたLATE推定法では、関連するすべての変数を1つのデータセットで共同で観測することが必要であった。
最小値の定式化を回避し,より簡易なモデル選択を可能とする重み付き最小二乗推定器を提案する。
論文 参考訳(メタデータ) (2021-09-11T03:51:48Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Regularized Nonlinear Regression for Simultaneously Selecting and
Estimating Key Model Parameters [1.6122433144430324]
システム同定では、限られた観測値を用いてモデルのパラメータを推定すると、識別性が低下する。
感度パラメータをキーモデルパラメータとして同時に選択および推定し、残りのパラメータを典型的な値の集合に固定する新しい方法を提案する。
論文 参考訳(メタデータ) (2021-04-23T06:17:57Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Nonparametric Estimation of Uncertainty Sets for Robust Optimization [2.741266294612776]
本研究では、ロバスト最適化問題に対する不確実性集合構築のためのデータ駆動手法について検討する。
確率質量が与えられた目標質量に近似することが保証された不確実性集合を推定するための非パラメトリック手法を提供する。
論文 参考訳(メタデータ) (2020-04-07T01:47:55Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳(メタデータ) (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。