論文の概要: Importance Tempering: Group Robustness for Overparameterized Models

• arxiv url: http://arxiv.org/abs/2209.08745v1
• Date: Mon, 19 Sep 2022 03:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 15:55:56.501677
• Title: Importance Tempering: Group Robustness for Overparameterized Models
• Title（参考訳）: 重要テンパリング:過パラメータモデルに対するグループロバストネス
• Authors: Yiping Lu, Wenlong Ji, Zachary Izzo, Lexing Ying
• Abstract要約: 我々は意思決定境界を改善するために重要な誘惑を提案する。 適切に選択された温度が、不均衡な分類のためにマイノリティ崩壊を複雑化することを示す。 実証的な結果として,重要テンパリングを用いたグループ分類作業における最先端の成果が得られた。
• 参考スコア（独自算出の注目度）: 12.559727665706687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although overparameterized models have shown their success on many machine learning tasks, the accuracy could drop on the testing distribution that is different from the training one. This accuracy drop still limits applying machine learning in the wild. At the same time, importance weighting, a traditional technique to handle distribution shifts, has been demonstrated to have less or even no effect on overparameterized models both empirically and theoretically. In this paper, we propose importance tempering to improve the decision boundary and achieve consistently better results for overparameterized models. Theoretically, we justify that the selection of group temperature can be different under label shift and spurious correlation setting. At the same time, we also prove that properly selected temperatures can extricate the minority collapse for imbalanced classification. Empirically, we achieve state-of-the-art results on worst group classification tasks using importance tempering.
• Abstract（参考訳）: 過パラメータモデルでは、多くの機械学習タスクでその成功が示されているが、トレーニングと異なるテスト分布に精度が低下する可能性がある。 この精度低下は依然として機械学習の適用を制限する。 同時に、分布シフトを扱う伝統的な手法である重要度重み付けは、経験的および理論的に過小パラメータモデルに影響を与えないことが示されている。 本稿では,決定境界を改良し,過パラメータ化モデルに対して一貫したより良い結果を得るための重要テンパリングを提案する。 理論的には, 群温度の選択がラベルシフトとスプリアス相関設定で異なることを正当化する。 同時に, 適切に選択された温度が, 不均衡分類のマイノリティ崩壊を引き起こすことも証明した。 実証的な結果として,重要テンパリングを用いたグループ分類タスクの最先端化を実現した。

関連論文リスト

• Counterfactual Fairness through Transforming Data Orthogonal to Bias [7.109458605736819]
  我々は新しいデータ前処理アルゴリズムOrthogonal to Bias (OB)を提案する。 OBは、連続的な敏感な変数群の影響を排除し、機械学習アプリケーションにおける反ファクトフェアネスを促進するように設計されている。 OBはモデルに依存しないため、幅広い機械学習モデルやタスクに適用できる。
  論文  参考訳（メタデータ） (2024-03-26T16:40:08Z)
• On the Limitations of Temperature Scaling for Distributions with Overlaps [8.486166869140929]
  一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。 そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
  論文  参考訳（メタデータ） (2023-06-01T14:35:28Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• FairPrune: Achieving Fairness Through Pruning for Dermatological Disease Diagnosis [17.508632873527525]
  刈り取りによる公平性を実現する方法であるFairPruneを提案する。 本研究では,両グループの平均精度を極力高く保ちながら,公平性を著しく向上できることを示す。
  論文  参考訳（メタデータ） (2022-03-04T02:57:34Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)
• Towards Threshold Invariant Fair Classification [10.317169065327546]
  本稿では、決定しきい値とは無関係に、異なるグループ間で公平な性能を強制する、しきい値不変公平性の概念を紹介する。 実験結果から,提案手法は,公平性を実現するために設計された機械学習モデルの閾値感度を緩和するために有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-18T16:49:46Z)
• Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance [4.563176550691304]
  トレーニングデータラベルの不正確性と不確実性に対処する新しい手法について検討する。 本手法は,トレーニングセットのポイントワイドラベルの不確かさを推定することにより,バイアスと分散の両面を低減できる。
  論文  参考訳（メタデータ） (2020-02-23T18:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。