論文の概要: Sample Weight Averaging for Stable Prediction

• arxiv url: http://arxiv.org/abs/2502.07414v1
• Date: Tue, 11 Feb 2025 09:51:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:06:59.067523
• Title: Sample Weight Averaging for Stable Prediction
• Title（参考訳）: 安定予測のためのサンプル重量平均化
• Authors: Han Yu, Yue He, Renzhe Xu, Dongbai Li, Jiayin Zhang, Wenchao Zou, Peng Cui,
• Abstract要約: アウト・オブ・ディストリビューションの一般化の課題は、機械学習アルゴリズムを危険に敏感な領域に応用するための基礎的な懸念を生じさせる。 本稿では,様々なサンプル再重み付けアルゴリズムに普遍的に統合し,分散および係数推定誤差を低減できる簡易かつ効率的な戦略であるSAmple Weight Averaging (zawa)を提案する。
• 参考スコア（独自算出の注目度）: 33.96006836156484
• License:
• Abstract: The challenge of Out-of-Distribution (OOD) generalization poses a foundational concern for the application of machine learning algorithms to risk-sensitive areas. Inspired by traditional importance weighting and propensity weighting methods, prior approaches employ an independence-based sample reweighting procedure. They aim at decorrelating covariates to counteract the bias introduced by spurious correlations between unstable variables and the outcome, thus enhancing generalization and fulfilling stable prediction under covariate shift. Nonetheless, these methods are prone to experiencing an inflation of variance, primarily attributable to the reduced efficacy in utilizing training samples during the reweighting process. Existing remedies necessitate either environmental labels or substantially higher time costs along with additional assumptions and supervised information. To mitigate this issue, we propose SAmple Weight Averaging (SAWA), a simple yet efficacious strategy that can be universally integrated into various sample reweighting algorithms to decrease the variance and coefficient estimation error, thus boosting the covariate-shift generalization and achieving stable prediction across different environments. We prove its rationality and benefits theoretically. Experiments across synthetic datasets and real-world datasets consistently underscore its superiority against covariate shift.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化の課題は、機械学習アルゴリズムを危険に敏感な分野に適用する上での基礎的な関心事となっている。 従来の重み付けと正当性重み付けの手法に触発され、従来のアプローチでは独立性に基づくサンプル重み付け手法が採用された。 彼らは、不安定な変数と結果の間の急激な相関によって引き起こされるバイアスに対処するために、共変量と関連付け、一般化を促進し、共変量シフトの下で安定な予測を達成することを目的としている。 それにもかかわらず、これらの手法は分散のインフレーションを経験する傾向があり、これは主に、再加重過程におけるトレーニングサンプルの利用効率の低下に起因する。 既存の対策は、追加の仮定や監督された情報とともに、環境ラベルまたはかなり高い時間コストを必要とする。 この問題を緩和するために,様々なサンプル再重み付けアルゴリズムに普遍的に統合し,分散と係数推定誤差を低減し,共変量シフトの一般化を促進し,異なる環境間で安定な予測を実現する,簡易かつ効率的な戦略であるSAmple Weight Averaging (zawa)を提案する。 その合理性と利益を理論的に証明する。 合成データセットと実世界のデータセットにわたる実験は、共変量シフトに対する優位性を一貫して強調している。

関連論文リスト

• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Heteroscedastic Double Bayesian Elastic Net [1.1240642213359266]
  平均分散と対数分散を共同でモデル化する新しいフレームワークであるヘテロセダスティックダブルベイズ弾性ネット(HDBEN)を提案する。 本手法は, 回帰係数と分散パラメータの分散とグループ化を同時に引き起こし, データの複雑な分散構造を捉える。
  論文  参考訳（メタデータ） (2025-02-04T05:44:19Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Errors-in-variables Fr\'echet Regression with Low-rank Covariate Approximation [2.1756081703276]
  Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。 提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
  論文  参考訳（メタデータ） (2023-05-16T08:37:54Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Stable Learning via Sparse Variable Independence [41.632242102167844]
  共変量シフト一般化問題に対するSVI(Sparse Variable Independence)を提案する。 有限サンプル設定下でのサンプル再加重の不完全性を補うために、スペーサ性制約を導入する。 合成データセットと実世界のデータセットの両方の実験は、SVIの改良を実証している。
  論文  参考訳（メタデータ） (2022-12-02T05:59:30Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff [7.538482310185135]
  適応的な重要度サンプリングの大きな欠点は、重みの大きなばらつきである。 本稿では,一定のパワーで重み付けを行うことを基本原理とする正規化戦略について検討する。
  論文  参考訳（メタデータ） (2021-10-29T07:45:24Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。