論文の概要: Sequential Domain Adaptation by Synthesizing Distributionally Robust
Experts
- arxiv url: http://arxiv.org/abs/2106.00322v1
- Date: Tue, 1 Jun 2021 08:51:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:30:48.797060
- Title: Sequential Domain Adaptation by Synthesizing Distributionally Robust
Experts
- Title(参考訳): 分散ロバストエキスパートの合成による系列領域適応
- Authors: Bahar Taskesen, Man-Chung Yue, Jose Blanchet, Daniel Kuhn, Viet Anh
Nguyen
- Abstract要約: 教師付きドメイン適応は、目標分布に近いソース分布からラベル付きトレーニングサンプルを追加することにより、予測精度を向上させることを目的としている。
我々は、提案した頑健な専門家の家系のBernsteinオンライン集約アルゴリズムを用いて、ターゲットサンプルの逐次的ストリームの予測を生成する。
- 参考スコア(独自算出の注目度): 14.656957226255628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Least squares estimators, when trained on a few target domain samples, may
predict poorly. Supervised domain adaptation aims to improve the predictive
accuracy by exploiting additional labeled training samples from a source
distribution that is close to the target distribution. Given available data, we
investigate novel strategies to synthesize a family of least squares estimator
experts that are robust with regard to moment conditions. When these moment
conditions are specified using Kullback-Leibler or Wasserstein-type
divergences, we can find the robust estimators efficiently using convex
optimization. We use the Bernstein online aggregation algorithm on the proposed
family of robust experts to generate predictions for the sequential stream of
target test samples. Numerical experiments on real data show that the robust
strategies may outperform non-robust interpolations of the empirical least
squares estimators.
- Abstract(参考訳): 最小二乗推定器は、いくつかの対象領域のサンプルでトレーニングすると、予測が貧弱になる可能性がある。
教師付きドメイン適応は、目標分布に近いソース分布からラベル付きトレーニングサンプルを追加することにより、予測精度を向上させることを目的としている。
利用可能なデータに基づいて,モーメント条件に関してロバストな最小二乗推定専門家の家族を合成する新しい戦略を検討する。
これらのモーメント条件をkullback-leiblerまたはwasserstein型ダイバージェンスを用いて指定すると、凸最適化を用いてロバスト推定器を効率的に見つけることができる。
我々は,提案するロバストな専門家群に対するbernstein online aggregationアルゴリズムを用いて,ターゲットテストサンプルの逐次ストリームの予測を行う。
実データに対する数値実験は、ロバストな戦略が経験的最小二乗推定器の非ロバスト補間よりも優れていることを示している。
関連論文リスト
- Adaptive importance sampling for heavy-tailed distributions via
$\alpha$-divergence minimization [2.879807093604632]
提案手法は,学生の提案分布からターゲットを近似するAISアルゴリズムを提案する。
我々は、目標と提案の護衛モーメントを一致させて、位置とスケールパラメータを適応させる。
これらの更新は、ターゲットと提案の間の$alpha$-divergenceを最小化し、変動推論と接続する。
論文 参考訳(メタデータ) (2023-10-25T14:07:08Z) - Amortized Variational Inference with Coverage Guarantees [20.189430920135873]
Amortized variational inference(英語版)は、新しい観測によって高速に計算できる後部近似を生成する。
コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。
CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。
論文 参考訳(メタデータ) (2023-05-23T17:24:04Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。
正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。
単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
論文 参考訳(メタデータ) (2022-03-29T12:34:43Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Distributionally Robust Local Non-parametric Conditional Estimation [22.423052432220235]
非パラメトリックな局所推定を生成する分布安定な新しい推定器を提案する。
一般には難解であるにもかかわらず、局所推定器は凸最適化によって効率的に見つけることができることを示す。
合成およびMNISTデータセットを用いた実験は、この新しいクラスの推定器の競合性能を示している。
論文 参考訳(メタデータ) (2020-10-12T00:11:17Z) - Uncertainty Estimation and Sample Selection for Crowd Counting [87.29137075538213]
予測された密度マップに関連する不確実性値とともに,群衆密度マップを予測できる画像に基づく群集カウント手法を提案する。
既存のクラウドカウント手法に比べて,提案手法の重要な利点は,予測の不確かさを定量化できることである。
サンプル選択戦略は、ソースドメイン上でトレーニングされたカウントネットワークをターゲットドメインに適応させるために必要なラベル付きデータの量を劇的に削減することを示す。
論文 参考訳(メタデータ) (2020-09-30T03:40:07Z) - Robust Validation: Confident Predictions Even When Distributions Shift [24.211408049646153]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳(メタデータ) (2020-05-20T15:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。