論文の概要: Sample Weight Averaging for Stable Prediction

• arxiv url: http://arxiv.org/abs/2502.07414v1
• Date: Tue, 11 Feb 2025 09:51:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 18:22:48.096457
• Title: Sample Weight Averaging for Stable Prediction
• Title（参考訳）: 安定予測のためのサンプル重量平均化
• Authors: Han Yu, Yue He, Renzhe Xu, Dongbai Li, Jiayin Zhang, Wenchao Zou, Peng Cui,
• Abstract要約: アウト・オブ・ディストリビューションの一般化の課題は、機械学習アルゴリズムを危険に敏感な領域に応用するための基礎的な懸念を生じさせる。 本稿では,様々なサンプル再重み付けアルゴリズムに普遍的に統合し,分散および係数推定誤差を低減できる簡易かつ効率的な戦略であるSAmple Weight Averaging (zawa)を提案する。
• 参考スコア（独自算出の注目度）: 33.96006836156484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenge of Out-of-Distribution (OOD) generalization poses a foundational concern for the application of machine learning algorithms to risk-sensitive areas. Inspired by traditional importance weighting and propensity weighting methods, prior approaches employ an independence-based sample reweighting procedure. They aim at decorrelating covariates to counteract the bias introduced by spurious correlations between unstable variables and the outcome, thus enhancing generalization and fulfilling stable prediction under covariate shift. Nonetheless, these methods are prone to experiencing an inflation of variance, primarily attributable to the reduced efficacy in utilizing training samples during the reweighting process. Existing remedies necessitate either environmental labels or substantially higher time costs along with additional assumptions and supervised information. To mitigate this issue, we propose SAmple Weight Averaging (SAWA), a simple yet efficacious strategy that can be universally integrated into various sample reweighting algorithms to decrease the variance and coefficient estimation error, thus boosting the covariate-shift generalization and achieving stable prediction across different environments. We prove its rationality and benefits theoretically. Experiments across synthetic datasets and real-world datasets consistently underscore its superiority against covariate shift.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化の課題は、機械学習アルゴリズムを危険に敏感な分野に適用する上での基礎的な関心事となっている。 従来の重み付けと正当性重み付けの手法に触発され、従来のアプローチでは独立性に基づくサンプル重み付け手法が採用された。 彼らは、不安定な変数と結果の間の急激な相関によって引き起こされるバイアスに対処するために、共変量と関連付け、一般化を促進し、共変量シフトの下で安定な予測を達成することを目的としている。 それにもかかわらず、これらの手法は分散のインフレーションを経験する傾向があり、これは主に、再加重過程におけるトレーニングサンプルの利用効率の低下に起因する。 既存の対策は、追加の仮定や監督された情報とともに、環境ラベルまたはかなり高い時間コストを必要とする。 この問題を緩和するために,様々なサンプル再重み付けアルゴリズムに普遍的に統合し,分散と係数推定誤差を低減し,共変量シフトの一般化を促進し,異なる環境間で安定な予測を実現する,簡易かつ効率的な戦略であるSAmple Weight Averaging (zawa)を提案する。 その合理性と利益を理論的に証明する。 合成データセットと実世界のデータセットにわたる実験は、共変量シフトに対する優位性を一貫して強調している。

関連論文リスト

• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Heteroscedastic Double Bayesian Elastic Net [1.1240642213359266]
  平均分散と対数分散を共同でモデル化する新しいフレームワークであるヘテロセダスティックダブルベイズ弾性ネット(HDBEN)を提案する。 本手法は, 回帰係数と分散パラメータの分散とグループ化を同時に引き起こし, データの複雑な分散構造を捉える。
  論文  参考訳（メタデータ） (2025-02-04T05:44:19Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Causality-oriented robustness: exploiting general noise interventions [4.64479351797195]
  本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。 DRIGはトレーニングデータにおける一般的なノイズ介入を利用して、目に見えない介入に対する堅牢な予測を行う。 我々のフレームワークには特別なケースとしてアンカー回帰が含まれており、より多様な摂動から保護される予測モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-07-18T16:22:50Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Stable Learning via Sparse Variable Independence [41.632242102167844]
  共変量シフト一般化問題に対するSVI(Sparse Variable Independence)を提案する。 有限サンプル設定下でのサンプル再加重の不完全性を補うために、スペーサ性制約を導入する。 合成データセットと実世界のデータセットの両方の実験は、SVIの改良を実証している。
  論文  参考訳（メタデータ） (2022-12-02T05:59:30Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Adaptive Importance Sampling meets Mirror Descent: a Bias-variance tradeoff [7.538482310185135]
  適応的な重要度サンプリングの大きな欠点は、重みの大きなばらつきである。 本稿では,一定のパワーで重み付けを行うことを基本原理とする正規化戦略について検討する。
  論文  参考訳（メタデータ） (2021-10-29T07:45:24Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Stratified Learning: A General-Purpose Statistical Method for Improved Learning under Covariate Shift [1.1470070927586016]
  本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。 因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。 本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-21T15:53:20Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。