論文の概要: A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization

• arxiv url: http://arxiv.org/abs/2111.02355v4
• Date: Tue, 17 Oct 2023 09:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 00:52:46.990735
• Title: A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization
• Title（参考訳）: 共変量シフト一般化のための独立駆動的重要度重み付けに関する理論的解析
• Authors: Renzhe Xu, Xingxuan Zhang, Zheyan Shen, Tong Zhang, Peng Cui
• Abstract要約: 安定学習文学における独立駆動の重要度アルゴリズムは経験的効果を示している。 本稿では,このようなアルゴリズムの有効性を,特徴選択プロセスとして説明することにより理論的に証明する。 理想的な条件下では、独立駆動の重み付けアルゴリズムがこの集合の変数を識別できることを証明した。
• 参考スコア（独自算出の注目度）: 44.88645911638269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Covariate-shift generalization, a typical case in out-of-distribution (OOD) generalization, requires a good performance on the unknown test distribution, which varies from the accessible training distribution in the form of covariate shift. Recently, independence-driven importance weighting algorithms in stable learning literature have shown empirical effectiveness to deal with covariate-shift generalization on several learning models, including regression algorithms and deep neural networks, while their theoretical analyses are missing. In this paper, we theoretically prove the effectiveness of such algorithms by explaining them as feature selection processes. We first specify a set of variables, named minimal stable variable set, that is the minimal and optimal set of variables to deal with covariate-shift generalization for common loss functions, such as the mean squared loss and binary cross-entropy loss. Afterward, we prove that under ideal conditions, independence-driven importance weighting algorithms could identify the variables in this set. Analysis of asymptotic properties is also provided. These theories are further validated in several synthetic experiments.
• Abstract（参考訳）: out-of-distribution(ood)一般化の典型例であるcovariate-shift generalizationでは、covariate shiftという形式でアクセス可能なトレーニング分布と異なる、未知のテスト分布での優れたパフォーマンスが求められている。 近年、安定学習文学における独立駆動重み付けアルゴリズムは、回帰アルゴリズムや深層ニューラルネットワークを含むいくつかの学習モデルにおいて共変量シフトの一般化を扱うための経験的効果を示し、理論的解析は欠落している。 本稿では,これらのアルゴリズムを特徴選択プロセスとして説明することにより,その効果を理論的に証明する。 まず、最小安定変数集合と呼ばれる変数の集合を定め、これは平均二乗損失や二項交叉エントロピー損失などの共通損失関数の共変シフト一般化を扱うための最小かつ最適変数の集合である。 その後、理想的な条件下では、独立性に基づく重み付けアルゴリズムがこの集合の変数を識別できることが証明される。 また、漸近特性の解析も行う。 これらの理論はいくつかの合成実験でさらに検証されている。

関連論文リスト

• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Towards a Unified Analysis of Kernel-based Methods Under Covariate Shift [18.240776405802205]
  再生カーネルヒルベルト空間における一般非パラメトリック手法の統一解析を提案する。 本研究は, 損失関数ファミリーに属する一般損失について理論的に検討した。 この結果は,2乗損失を用いた文献の最適結果と一致する。
  論文  参考訳（メタデータ） (2023-10-12T11:33:15Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Covariate Shift in High-Dimensional Random Feature Regression [44.13449065077103]
  共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。 現代の機械学習の文脈における理論的理解を示す。
  論文  参考訳（メタデータ） (2021-11-16T05:23:28Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。