論文の概要: Just Mix Once: Worst-group Generalization by Group Interpolation

• arxiv url: http://arxiv.org/abs/2210.12195v1
• Date: Fri, 21 Oct 2022 18:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 17:54:21.687533
• Title: Just Mix Once: Worst-group Generalization by Group Interpolation
• Title（参考訳）: Just Mix Once: グループ補間による最悪のグループ一般化
• Authors: Giorgio Giannone, Serhii Havrylov, Jordan Massiah, Emine Yilmaz, Yunlong Jiao
• Abstract要約: 最悪群一般化に適したミックスアップのクラス条件変種を提案する。 我々のアプローチであるJust Mix Once (JM1)は、学習中にサンプルを補間し、トレーニング分布を連続した混合グループで増強する。
• 参考スコア（独自算出の注目度）: 15.962658873752352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in deep learning theory have revealed how average generalization relies on superficial patterns in data. The consequences are brittle models with poor performance with shift in group distribution at test time. When group annotation is available, we can use robust optimization tools to tackle the problem. However, identification and annotation are time-consuming, especially on large datasets. A recent line of work leverages self-supervision and oversampling to improve generalization on minority groups without group annotation. We propose to unify and generalize these approaches using a class-conditional variant of mixup tailored for worst-group generalization. Our approach, Just Mix Once (JM1), interpolates samples during learning, augmenting the training distribution with a continuous mixture of groups. JM1 is domain agnostic and computationally efficient, can be used with any level of group annotation, and performs on par or better than the state-of-the-art on worst-group generalization. Additionally, we provide a simple explanation of why JM1 works.
• Abstract（参考訳）: ディープラーニング理論の進歩は、平均的な一般化がデータの表面パターンに依存することを明らかにしている。 その結果、テスト時のグループ分散のシフトによるパフォーマンスの低下を伴う脆いモデルが実現した。 グループアノテーションが利用可能であれば、この問題に対処するために堅牢な最適化ツールを使用することができます。 しかし、特に大きなデータセットでは、識別とアノテーションは時間がかかります。 最近の研究は、グループアノテーションを使わずに少数グループの一般化を改善するために、自己スーパービジョンとオーバーサンプリングを活用する。 我々は,最悪の集団一般化のために調整されたミックスアップのクラス条件変種を用いて,これらのアプローチを統一し,一般化することを提案する。 我々のアプローチであるJust Mix Once (JM1)は、学習中にサンプルを補間し、トレーニング分布を連続した混合グループで増強する。 JM1はドメインに依存しず、計算的に効率的であり、任意のレベルのグループアノテーションで使用することができ、最悪のグループ一般化の最先端技術よりも同等かそれ以上の性能を持つ。 さらに、JM1がなぜ機能するのかを簡単に説明します。

関連論文リスト

• Fairness of Deep Ensembles: On the interplay between per-group task difficulty and under-representation [9.11104048176204]
  組立は、機械学習におけるモデルの一般的な性能を改善する効果的な方法として一般的に考えられている。 単純で簡単な手法が相違を緩和し、特に性能の低い部分群に利益をもたらすことを示す。 我々は,サブグループ下表現と各グループ固有の課題の難易度という,バイアスをもたらす可能性のある2つの要因間の相互作用を分析した。
  論文  参考訳（メタデータ） (2025-01-24T14:54:01Z)
• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Improved Group Robustness via Classifier Retraining on Independent Splits [6.930560177764658]
  群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。 新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
  論文  参考訳（メタデータ） (2022-04-20T16:22:27Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。