論文の概要: Group-robust Sample Reweighting for Subpopulation Shifts via Influence Functions

• arxiv url: http://arxiv.org/abs/2503.07315v1
• Date: Mon, 10 Mar 2025 13:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:58.947454
• Title: Group-robust Sample Reweighting for Subpopulation Shifts via Influence Functions
• Title（参考訳）: 群ローバスト標本再重み付けによるサブポピュレーションシフト
• Authors: Rui Qiao, Zhaoxuan Wu, Jingtan Wang, Pang Wei Koh, Bryan Kian Hsiang Low,
• Abstract要約: グループロバストサンプル再重み付け(GSR)は、まずグループ未ラベルデータから表現を学習する2段階の手法である。 GSRは理論的には健全で、実質的に軽量であり、人口移動に対する堅牢性を改善するのに効果的である。
• 参考スコア（独自算出の注目度）: 37.0753553356624
• License:
• Abstract: Machine learning models often have uneven performance among subpopulations (a.k.a., groups) in the data distributions. This poses a significant challenge for the models to generalize when the proportions of the groups shift during deployment. To improve robustness to such shifts, existing approaches have developed strategies that train models or perform hyperparameter tuning using the group-labeled data to minimize the worst-case loss over groups. However, a non-trivial amount of high-quality labels is often required to obtain noticeable improvements. Given the costliness of the labels, we propose to adopt a different paradigm to enhance group label efficiency: utilizing the group-labeled data as a target set to optimize the weights of other group-unlabeled data. We introduce Group-robust Sample Reweighting (GSR), a two-stage approach that first learns the representations from group-unlabeled data, and then tinkers the model by iteratively retraining its last layer on the reweighted data using influence functions. Our GSR is theoretically sound, practically lightweight, and effective in improving the robustness to subpopulation shifts. In particular, GSR outperforms the previous state-of-the-art approaches that require the same amount or even more group labels.
• Abstract（参考訳）: 機械学習モデルは、データ分散において、サブポピュレーション(すなわちグループ)間で不均一なパフォーマンスを持つことが多い。 これは、デプロイ中にグループの比率がシフトした場合、モデルを一般化する上で大きな課題となる。 このようなシフトに対するロバスト性を改善するため、既存のアプローチでは、グループ間で最悪の損失を最小限に抑えるために、グループラベルデータを使用したモデルトレーニングやハイパーパラメータチューニングを行う戦略が開発されている。 しかし、特筆すべき改善を得るためには、非自明な量の高品質なラベルが必要であることが多い。 ラベルのコストを考慮し、グループラベルデータの重み付けを最適化するターゲットセットとしてグループラベルデータを利用するという、グループラベルの効率を高めるための異なるパラダイムを採用することを提案する。 グループロバストサンプル再重み付け(GSR)は、まずグループラベル付きデータから表現を学習し、その後、影響関数を用いて再重み付けデータ上で最後の層を反復的に再トレーニングすることでモデルを微調整する2段階の手法である。 我々のGSRは理論的には健全で、実質的に軽量であり、人口変動に対する堅牢性を改善するのに効果的です。 特に、GSRは、同じ量またはそれ以上のグループラベルを必要とする従来の最先端のアプローチよりも優れている。

関連論文リスト

• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Mind the GAP: Improving Robustness to Subpopulation Shifts with Group-Aware Priors [46.03963664373476]
  我々は、サブポピュレーションシフトの下でよく一般化するモデルを明示的に好むニューラルネットワークパラメータ上で、GAP(group-aware prior)分布のファミリーを開発する。 我々は、以前トレーニングされた非ロバストモデルの最終層のみをトレーニングしても、GAPによるトレーニングが最先端のパフォーマンスをもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-03-14T21:00:26Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization [109.91265884632239]
  群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。 本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。 AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
  論文  参考訳（メタデータ） (2022-12-02T00:57:03Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Improved Group Robustness via Classifier Retraining on Independent Splits [6.930560177764658]
  群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。 新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
  論文  参考訳（メタデータ） (2022-04-20T16:22:27Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Overcoming Data Sparsity in Group Recommendation [52.00998276970403]
  グループレコメンデータシステムは、ユーザの個人的な好みだけでなく、嗜好集約戦略も正確に学習できなければならない。 本稿では,BGEM(Bipartite Graphding Model)とGCN(Graph Convolutional Networks)を基本構造として,グループとユーザ表現を統一的に学習する。
  論文  参考訳（メタデータ） (2020-10-02T07:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。