Fugu-MT 論文翻訳(概要): Optimal Representations for Covariate Shift

論文の概要: Optimal Representations for Covariate Shift

arxiv url: http://arxiv.org/abs/2201.00057v1
Date: Fri, 31 Dec 2021 21:02:24 GMT
ステータス: 処理完了
システム内更新日: 2022-01-05 03:08:45.308983
Title: Optimal Representations for Covariate Shift
Title（参考訳）: 共変量シフトの最適表現
Authors: Yangjun Ruan, Yann Dubois, Chris J. Maddison
Abstract要約: リスク最小化が堅牢であることが保証されるすべての表現の集合を最適とする単純な変分対象を導入する。我々の目標は、DomainBedにおける最先端の成果を達成し、CLIPのような最近の手法の堅牢性に関する洞察を提供する。
参考スコア（独自算出の注目度）: 18.136705088756138
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning systems often experience a distribution shift between training and testing. In this paper, we introduce a simple variational objective whose optima are exactly the set of all representations on which risk minimizers are guaranteed to be robust to any distribution shift that preserves the Bayes predictor, e.g., covariate shifts. Our objective has two components. First, a representation must remain discriminative for the task, i.e., some predictor must be able to simultaneously minimize the source and target risk. Second, the representation's marginal support needs to be the same across source and target. We make this practical by designing self-supervised learning methods that only use unlabelled data and augmentations to train robust representations. Our objectives achieve state-of-the-art results on DomainBed, and give insights into the robustness of recent methods, such as CLIP.
Abstract（参考訳）: 機械学習システムは、トレーニングとテストの間の分散シフトをしばしば経験する。本稿では,リスク最小化器がベイズ予測器(例えば共変量シフト)を保持する分布シフトに対して頑健であることを保証するような,すべての表現の集合が最適である,単純な変分目的を導入する。私たちの目標は2つのコンポーネントです。第一に、ある表現はタスクに対して差別的であり続けなければならない、すなわち、ある予測者はソースとターゲットのリスクを同時に最小化できなければならない。第二に、表現の限界サポートはソースとターゲットで同じである必要があります。本手法は,頑健な表現の訓練に未学習のデータと拡張のみを使用する自己指導型学習手法を設計することによって実現している。我々の目標は、DomainBedにおける最先端の成果を達成し、CLIPのような最近の手法の堅牢性に関する洞察を提供する。

関連論文リスト

Probabilistic Self-supervised Learning via Scoring Rules Minimization [19.347097627898876]
本稿では,Scoring Rule Minimization (ProSMIN) を用いた確率論的自己教師型学習を提案する。提案手法は,大規模データセットを用いた多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
論文参考訳（メタデータ） (2023-09-05T08:48:25Z)
Generative multitask learning mitigates target-causing confounding [61.21582323566118]
マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
論文参考訳（メタデータ） (2022-02-08T20:42:14Z)
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文参考訳（メタデータ） (2022-01-11T23:01:12Z)
Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文参考訳（メタデータ） (2021-09-22T10:47:51Z)
KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文参考訳（メタデータ） (2021-06-14T22:24:23Z)
Learning Under Adversarial and Interventional Shifts [36.183840774167756]
分散シフトの集合に対してロバストなモデルを設計するための新しい定式化 RISe を提案する。分散的に堅牢な最適化フレームワークを使用して、教師付きおよび強化学習設定の両方で結果の目標を最適化する。
論文参考訳（メタデータ） (2021-03-29T20:10:51Z)
Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文参考訳（メタデータ） (2020-10-09T15:42:35Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。