論文の概要: Stable Learning via Sparse Variable Independence

• arxiv url: http://arxiv.org/abs/2212.00992v1
• Date: Fri, 2 Dec 2022 05:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 16:15:00.922491
• Title: Stable Learning via Sparse Variable Independence
• Title（参考訳）: スパース可変独立による安定学習
• Authors: Han Yu, Peng Cui, Yue He, Zheyan Shen, Yong Lin, Renzhe Xu, Xingxuan Zhang
• Abstract要約: 共変量シフト一般化問題に対するSVI(Sparse Variable Independence)を提案する。 有限サンプル設定下でのサンプル再加重の不完全性を補うために、スペーサ性制約を導入する。 合成データセットと実世界のデータセットの両方の実験は、SVIの改良を実証している。
• 参考スコア（独自算出の注目度）: 41.632242102167844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of covariate-shift generalization has attracted intensive research attention. Previous stable learning algorithms employ sample reweighting schemes to decorrelate the covariates when there is no explicit domain information about training data. However, with finite samples, it is difficult to achieve the desirable weights that ensure perfect independence to get rid of the unstable variables. Besides, decorrelating within stable variables may bring about high variance of learned models because of the over-reduced effective sample size. A tremendous sample size is required for these algorithms to work. In this paper, with theoretical justification, we propose SVI (Sparse Variable Independence) for the covariate-shift generalization problem. We introduce sparsity constraint to compensate for the imperfectness of sample reweighting under the finite-sample setting in previous methods. Furthermore, we organically combine independence-based sample reweighting and sparsity-based variable selection in an iterative way to avoid decorrelating within stable variables, increasing the effective sample size to alleviate variance inflation. Experiments on both synthetic and real-world datasets demonstrate the improvement of covariate-shift generalization performance brought by SVI.
• Abstract（参考訳）: 共変量シフト一般化の問題は集中的な研究の注目を集めている。 従来の安定学習アルゴリズムでは、トレーニングデータに関する明示的なドメイン情報がない場合、サンプル再重み付け方式を用いて共変分をデコレーションする。 しかし、有限なサンプルでは、不安定な変数を取り除くために完全な独立性を保証する望ましい重みを達成することは困難である。 さらに、安定変数内のデコレーションは、効果的なサンプルサイズが過度に減少するため、学習モデルのばらつきをもたらす可能性がある。 これらのアルゴリズムが動作するには、膨大なサンプルサイズが必要である。 本稿では,理論的な正当化とともに,共変量シフト一般化問題に対するSVI(Sparse Variable Independence)を提案する。 本稿では,従来手法の有限サンプル設定下でのサンプル再重み付けの不完全さを補うために,スパーシティ制約を導入する。 さらに, 独立性に基づくサンプル再重み付けとスパーシティに基づく変数選択を反復的に組み合わせ, 安定変数間の相関を回避し, 有効サンプルサイズを増加させて分散インフレーションを緩和する。 合成および実世界の両方のデータセットの実験は、SVIによってもたらされた共変量シフト一般化性能の改善を示す。

関連論文リスト

• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [1.194799054956877]
  高次元正規化回帰における2つの重要なタスクは、正確な予測のために正規化強度を調整し、サンプル外リスクを推定することである。 問題のある条件下でクロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。
  論文  参考訳（メタデータ） (2024-06-17T15:50:00Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Anomaly Detection with Variance Stabilized Density Estimation [49.46356430493534]
  本稿では, 観測試料の確率を最大化するための分散安定化密度推定問題を提案する。 信頼性の高い異常検知器を得るために,分散安定化分布を学習するための自己回帰モデルのスペクトルアンサンブルを導入する。 我々は52のデータセットで広範なベンチマークを行い、我々の手法が最先端の結果につながることを示した。
  論文  参考訳（メタデータ） (2023-06-01T11:52:58Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Selectively increasing the diversity of GAN-generated samples [8.980453507536017]
  本稿では,GAN生成サンプルの多様性を選択的に向上する手法を提案する。 本研究では,CERN における ALICE 実験のZero Degree Calorimeter から得られたデータをシミュレーションする実生活シナリオとともに,本手法の優位性を示す。
  論文  参考訳（メタデータ） (2022-07-04T16:27:06Z)
• Stable Prediction via Leveraging Seed Variable [73.9770220107874]
  従来の機械学習手法は、非因果変数によって誘導されるトレーニングデータにおいて、微妙に刺激的な相関を利用して予測する。 本研究では, 条件付き独立性テストに基づくアルゴリズムを提案し, 種子変数を先行変数とする因果変数を分離し, 安定な予測に採用する。 我々のアルゴリズムは、安定した予測のための最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-06-09T06:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。