論文の概要: Outlier-Robust Group Inference via Gradient Space Clustering

• arxiv url: http://arxiv.org/abs/2210.06759v1
• Date: Thu, 13 Oct 2022 06:04:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:51:08.223278
• Title: Outlier-Robust Group Inference via Gradient Space Clustering
• Title（参考訳）: 勾配空間クラスタリングによる外乱群推論
• Authors: Yuchen Zeng, Kristjan Greenewald, Kangwook Lee, Justin Solomon, Mikhail Yurochkin
• Abstract要約: 既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
• 参考スコア（独自算出の注目度）: 50.87474101594732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional machine learning models focus on achieving good performance on the overall training distribution, but they often underperform on minority groups. Existing methods can improve the worst-group performance, but they can have several limitations: (i) they require group annotations, which are often expensive and sometimes infeasible to obtain, and/or (ii) they are sensitive to outliers. Most related works fail to solve these two issues simultaneously as they focus on conflicting perspectives of minority groups and outliers. We address the problem of learning group annotations in the presence of outliers by clustering the data in the space of gradients of the model parameters. We show that data in the gradient space has a simpler structure while preserving information about minority groups and outliers, making it suitable for standard clustering methods like DBSCAN. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art both in terms of group identification and downstream worst-group performance.
• Abstract（参考訳）: 従来の機械学習モデルは、トレーニング全体の分布において優れたパフォーマンスを達成することに重点を置いている。 既存のメソッドは最悪のグループパフォーマンスを改善することができるが、いくつかの制限がある。 (i)グループアノテーションが必要で、しばしば高価で入手が困難で、又は/又は (ii)異常者に対して敏感である。 ほとんどの関連研究は、少数派と少数派の対立する視点に焦点を当てているため、この2つの問題を同時に解決することができない。 本稿では,モデルパラメータの勾配空間にデータをクラスタリングすることにより,外れ値の存在下でのグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。 大規模な実験により,本手法はグループ識別と下流最悪のグループパフォーマンスの両方において,最先端の手法よりも優れていることが示された。

関連論文リスト

• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• Data Debiasing with Datamodels (D3M): Improving Subgroup Robustness via Data Selection [80.85902083005237]
  データモデルによるデータデバイアス(Data Debiasing with Datamodels, D3M)は、マイノリティグループにおけるモデルの障害を駆動する特定のトレーニング例を分離し、削除するデバイアス(debiasing)アプローチである。
  論文  参考訳（メタデータ） (2024-06-24T17:51:01Z)
• CLC: Cluster Assignment via Contrastive Representation Learning [9.631532215759256]
  コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。 完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-06-08T07:15:13Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• BARACK: Partially Supervised Group Robustness With Guarantees [29.427365308680717]
  ニューラルネットワーク上での最悪のグループパフォーマンスを改善するためのフレームワークであるBARACKを提案する。 トレーニングデータの欠落したグループラベルを予測するためにモデルをトレーニングし、その上で、これらの予測されたグループラベルを頑健な最適化目標として使用する。 実験的な手法では, 1-33%のポイントにグループラベルがある場合でも, グループ情報を使用しないベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-12-31T23:05:21Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。