論文の概要: The Effect of Model Size on Worst-Group Generalization

• arxiv url: http://arxiv.org/abs/2112.04094v1
• Date: Wed, 8 Dec 2021 03:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 15:03:10.712780
• Title: The Effect of Model Size on Worst-Group Generalization
• Title（参考訳）: モデルサイズが最悪群一般化に及ぼす影響
• Authors: Alan Pham, Eunice Chan, Vikranth Srivatsa, Dhruba Ghosh, Yaoqing Yang, Yaodong Yu, Ruiqi Zhong, Joseph E. Gonzalez, Jacob Steinhardt
• Abstract要約: 経験的リスク最小化(ERM)下におけるモデルサイズが最悪のグループ一般化に及ぼす影響について検討する。 系統的な評価により,モデルサイズの増加が損なわれず,全ての設定においてERMの下での最悪のグループテスト性能に寄与する可能性が示唆された。 特に、事前訓練されたモデルサイズの増加は、WaterbirdsとMultiNLIのパフォーマンスを一貫して改善する。
• 参考スコア（独自算出の注目度）: 26.026291049432913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterization is shown to result in poor test accuracy on rare subgroups under a variety of settings where subgroup information is known. To gain a more complete picture, we consider the case where subgroup information is unknown. We investigate the effect of model size on worst-group generalization under empirical risk minimization (ERM) across a wide range of settings, varying: 1) architectures (ResNet, VGG, or BERT), 2) domains (vision or natural language processing), 3) model size (width or depth), and 4) initialization (with pre-trained or random weights). Our systematic evaluation reveals that increasing model size does not hurt, and may help, worst-group test performance under ERM across all setups. In particular, increasing pre-trained model size consistently improves performance on Waterbirds and MultiNLI. We advise practitioners to use larger pre-trained models when subgroup labels are unknown.
• Abstract（参考訳）: 過パラメータ化は、希少なサブグループに対して、サブグループ情報が知られている様々な設定でテスト精度を低下させる。 より完全な図を得るには、サブグループ情報が未知である場合を考える。 モデルサイズが経験的リスク最小化 (erm) 下での最悪の集団一般化に与える影響を, 様々な設定で検討した。 1)アーキテクチャ(ResNet、VGG、BERT) 2)ドメイン(ビジョンまたは自然言語処理) 3)モデルサイズ(幅または深さ)、及び 4)初期化(事前訓練またはランダム重量)。 体系的な評価によって,モデルサイズの増加は損なわれず,すべてのセットアップでerm下での最悪のグループテストのパフォーマンスが向上する可能性があることが分かりました。 特に、事前訓練されたモデルサイズの増加は、WaterbirdsとMultiNLIのパフォーマンスを一貫して改善する。 サブグループラベルが不明な場合には,より大規模な事前学習モデルの使用を推奨する。

関連論文リスト

• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• Discover and Mitigate Multiple Biased Subgroups in Image Classifiers [45.96784278814168]
  機械学習モデルは、分散データではうまく機能するが、トレーニングデータに不足している偏りのあるサブグループでは失敗することが多い。 この問題に対処するために,分解,解釈,緩和(DIM)を提案する。 提案手法では,画像特徴を複数のサブグループを表す複数のコンポーネントに分解する。
  論文  参考訳（メタデータ） (2024-03-19T14:44:54Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• How does overparametrization affect performance on minority groups? [39.54853544590893]
  オーバーパラメータ化は常に少数群のパフォーマンスを改善することを示す。 多数派と少数派の回帰関数が異なる設定では、パラメータ化が常に少数派のパフォーマンスを改善することを示す。
  論文  参考訳（メタデータ） (2022-06-07T18:00:52Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Model Patching: Closing the Subgroup Performance Gap with Data Augmentation [50.35010342284508]
  機械学習モデルの堅牢性を改善するためのフレームワークであるモデルパッチを導入する。 モデルパッチは、サブグループの違いに対してモデルを不変にすることを奨励し、サブグループによって共有されるクラス情報にフォーカスする。 CAMELは,(1)CycleGANを用いてクラス内およびサブグループ間拡張を学習し,(2)理論上動機付けられた整合性正規化器を用いてサブグループ性能のバランスをとる。 CAMELの有効性を3つのベンチマークデータセットで示し、最高のベースラインに対して、ロバストなエラーを最大33%削減した。
  論文  参考訳（メタデータ） (2020-08-15T20:01:23Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。