論文の概要: Just Mix Once: Worst-group Generalization by Group Interpolation
- arxiv url: http://arxiv.org/abs/2210.12195v1
- Date: Fri, 21 Oct 2022 18:49:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 17:54:21.687533
- Title: Just Mix Once: Worst-group Generalization by Group Interpolation
- Title(参考訳): Just Mix Once: グループ補間による最悪のグループ一般化
- Authors: Giorgio Giannone, Serhii Havrylov, Jordan Massiah, Emine Yilmaz,
Yunlong Jiao
- Abstract要約: 最悪群一般化に適したミックスアップのクラス条件変種を提案する。
我々のアプローチであるJust Mix Once (JM1)は、学習中にサンプルを補間し、トレーニング分布を連続した混合グループで増強する。
- 参考スコア(独自算出の注目度): 15.962658873752352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in deep learning theory have revealed how average generalization
relies on superficial patterns in data. The consequences are brittle models
with poor performance with shift in group distribution at test time. When group
annotation is available, we can use robust optimization tools to tackle the
problem. However, identification and annotation are time-consuming, especially
on large datasets. A recent line of work leverages self-supervision and
oversampling to improve generalization on minority groups without group
annotation. We propose to unify and generalize these approaches using a
class-conditional variant of mixup tailored for worst-group generalization. Our
approach, Just Mix Once (JM1), interpolates samples during learning, augmenting
the training distribution with a continuous mixture of groups. JM1 is domain
agnostic and computationally efficient, can be used with any level of group
annotation, and performs on par or better than the state-of-the-art on
worst-group generalization. Additionally, we provide a simple explanation of
why JM1 works.
- Abstract(参考訳): ディープラーニング理論の進歩は、平均的な一般化がデータの表面パターンに依存することを明らかにしている。
その結果、テスト時のグループ分散のシフトによるパフォーマンスの低下を伴う脆いモデルが実現した。
グループアノテーションが利用可能であれば、この問題に対処するために堅牢な最適化ツールを使用することができます。
しかし、特に大きなデータセットでは、識別とアノテーションは時間がかかります。
最近の研究は、グループアノテーションを使わずに少数グループの一般化を改善するために、自己スーパービジョンとオーバーサンプリングを活用する。
我々は,最悪の集団一般化のために調整されたミックスアップのクラス条件変種を用いて,これらのアプローチを統一し,一般化することを提案する。
我々のアプローチであるJust Mix Once (JM1)は、学習中にサンプルを補間し、トレーニング分布を連続した混合グループで増強する。
JM1はドメインに依存しず、計算的に効率的であり、任意のレベルのグループアノテーションで使用することができ、最悪のグループ一般化の最先端技術よりも同等かそれ以上の性能を持つ。
さらに、JM1がなぜ機能するのかを簡単に説明します。
関連論文リスト
- The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。
まず,ミニバッチアップサンプリングと損失アップウェイトという,一般的なクラスバランス手法が,最悪のグループ精度の低下を招きかねないことを示す。
次に、事前学習されたモデルのスケーリングは、一般に最悪のグループ精度において有用であるが、適切なクラスバランスと共役する場合にのみ有用であることを示す。
論文 参考訳(メタデータ) (2024-07-19T00:34:03Z) - How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
グループ不均衡は経験的リスク最小化において既知の問題である。
本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
論文 参考訳(メタデータ) (2024-03-12T04:38:05Z) - Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。
我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。
正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-12-05T21:38:24Z) - Towards Last-layer Retraining for Group Robustness with Fewer
Annotations [11.650659637480112]
ニューラルネットワークの経験的リスク最小化(ERM)は、急激な相関に過度に依存する傾向がある。
最近のDeep Feature Reweighting技術は、単純な最終層再トレーニングによって最先端のグループロバスト性を実現する。
重み付けデータセットが最低群データのごく一部しか持たない場合でも、最終層再トレーニングは最悪のグループ精度を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-09-15T16:52:29Z) - Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。
モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。
そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
論文 参考訳(メタデータ) (2022-10-13T06:04:43Z) - Improved Group Robustness via Classifier Retraining on Independent
Splits [6.930560177764658]
群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。
本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。
新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
論文 参考訳(メタデータ) (2022-04-20T16:22:27Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2022-01-17T10:49:49Z) - Just Train Twice: Improving Group Robustness without Training Group
Information [101.84574184298006]
経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。
群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。
本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
論文 参考訳(メタデータ) (2021-07-19T17:52:32Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。