論文の概要: Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation

• arxiv url: http://arxiv.org/abs/2010.01184v5
• Date: Sun, 9 Jan 2022 02:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:12:28.558618
• Title: Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
• Title（参考訳）: 共変量シフト適応における有効サンプルサイズ,次元,一般化
• Authors: Felipe Maia Polo, Renato Vicente
• Abstract要約: 教師あり学習において,サンプルサイズ,次元性,モデル性能/一般化がどの程度有効かを示す。 本稿では,ESS,データ次元,一般化を結合する統一ビューの構築に焦点をあてる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In supervised learning, training and test datasets are often sampled from distinct distributions. Domain adaptation techniques are thus required. Covariate shift adaptation yields good generalization performance when domains differ only by the marginal distribution of features. Covariate shift adaptation is usually implemented using importance weighting, which may fail, according to common wisdom, due to small effective sample sizes (ESS). Previous research argues this scenario is more common in high-dimensional settings. However, how effective sample size, dimensionality, and model performance/generalization are formally related in supervised learning, considering the context of covariate shift adaptation, is still somewhat obscure in the literature. Thus, a main challenge is presenting a unified theory connecting those points. Hence, in this paper, we focus on building a unified view connecting the ESS, data dimensionality, and generalization in the context of covariate shift adaptation. Moreover, we also demonstrate how dimensionality reduction or feature selection can increase the ESS, and argue that our results support dimensionality reduction before covariate shift adaptation as a good practice.
• Abstract（参考訳）: 教師付き学習では、トレーニングとテストデータセットは、しばしば異なる分布からサンプリングされる。 そのため、ドメイン適応技術が必要である。 共変量シフト適応は、領域が特徴の限界分布によってのみ異なるとき、良い一般化性能をもたらす。 共変量シフト適応は通常、重要重み付けを用いて実装されるが、一般的な知恵によれば、小さな有効サンプルサイズ(ESS)のため失敗することがある。 以前の研究では、このシナリオは高次元の設定でより一般的であると主張している。 しかし,共変量シフト適応の文脈を考えると,教師付き学習において,サンプルサイズ,次元性,モデル性能・一般化がいかに効果的かはいまだに不明である。 したがって、主な課題はこれらの点を接続する統一理論を示すことである。 そこで本稿では,共変量シフト適応の文脈において,ESS,データ次元,一般化を結合する統一ビューの構築に焦点をあてる。 さらに, 次元性低減や特徴選択がessをいかに高めるかを実証し, 共変量シフト適応前の次元性低減を支援することを良い実践として論じた。

関連論文リスト

• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Information Geometrically Generalized Covariate Shift Adaptation [5.990174495635326]
  多くの機械学習手法は、トレーニングとテストデータが同じ分布に従うと仮定する。 共変量シフト適応手法の有名なファミリーは情報幾何学の枠組みで統一されていることを示す。 数値実験により、我々の一般化は既存の手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-04-19T02:52:54Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Test-Time Adaptation with Shape Moments for Image Segmentation [16.794050614196916]
  セグメント化のためのテスト時間単オブジェクト適応について検討する。 本稿では,この課題に対処するための形状誘導エントロピー最小化手法を提案する。 我々は, 様々な形状を事前に組み込んで, 可算解への適応を導出する可能性を示す。
  論文  参考訳（メタデータ） (2022-05-16T20:47:13Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。