論文の概要: Making Robust Generalizers Less Rigid with Loss Concentration

• arxiv url: http://arxiv.org/abs/2408.03619v2
• Date: Tue, 20 May 2025 08:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.239844
• Title: Making Robust Generalizers Less Rigid with Loss Concentration
• Title（参考訳）: ロバスト・ジェネラライザーのロバスト化, ロス濃度の低減
• Authors: Matthew J. Holland, Toma Hamada,
• Abstract要約: シャープネスを意識した最小化手法は、画像分類タスクに成功している。 このような戦略が、難易度がより極端になるようなより単純なモデルでどのように劇的に崩壊するかを示す。 損失集中度を低下させる訓練基準を提案し,評価する。
• 参考スコア（独自算出の注目度）: 6.527016551650139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the traditional formulation of machine learning tasks is in terms of performance on average, in practice we are often interested in how well a trained model performs on rare or difficult data points at test time. To achieve more robust and balanced generalization, methods applying sharpness-aware minimization to a subset of worst-case examples have proven successful for image classification tasks, but only using overparameterized neural networks under which the relative difference between "easy" and "hard" data points becomes negligible. In this work, we show how such a strategy can dramatically break down under simpler models where the difficulty gap becomes more extreme. As a more flexible alternative, instead of typical sharpness, we propose and evaluate a training criterion which penalizes poor loss concentration, which can be easily combined with loss transformations such exponential tilting, conditional value-at-risk (CVaR), or distributionally robust optimization (DRO) that control tail emphasis.
• Abstract（参考訳）: 従来の機械学習タスクの定式化は、平均的なパフォーマンスの観点ではありますが、実際には、テスト時に珍しい、あるいは難しいデータポイント上で、トレーニングされたモデルがどれだけうまく機能するかに関心があります。 より堅牢でバランスの取れた一般化を実現するために、最悪の例のサブセットにシャープネスを意識した最小化を適用する手法は、画像分類タスクで成功したが、"easy"データポイントと"hard"データポイントの相対的な差が無視できるオーバーパラメータ化ニューラルネットワークを使用するのみである。 本研究は,難易度が極端になるような単純なモデルで,このような戦略を劇的に分解する方法を示す。 よりフレキシブルな代替手段として、典型的鋭さの代わりに、低損失濃度をペナライズするトレーニング基準を提案して評価する。これは、指数的傾き、条件付き値-リスク(CVaR)、分布的ロバストな最適化(DRO)といった損失変換と容易に組み合わせることができる。

関連論文リスト

• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Simple and Fast Group Robustness by Automatic Feature Reweighting [45.9024045614187]
  突発的特徴への依存を軽減するために,自動特徴強調(AFR)を提案する。 AFRは、標準ERMトレーニングベースモデルの最後の層を重み付き損失で再訓練する。 いくつかの視覚および自然言語分類ベンチマークにおいて、刺激的な属性を伴わずに訓練された競合手法の最良の報告結果を改善する。
  論文  参考訳（メタデータ） (2023-06-19T17:19:13Z)
• Robust variance-regularized risk minimization with concomitant scaling [8.666172545138275]
  潜在的に重みのある損失の下では、分散を正確に見積もることなく、損失平均と標準偏差の和を最小化する作業を考える。 分散のないロバスト平均推定手法を改良することにより、従来の機械学習で使用する標準勾配解法と簡単に組み合わせられる簡単な学習手順を導出する。
  論文  参考訳（メタデータ） (2023-01-27T08:13:00Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
  本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。 我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。 単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
  論文  参考訳（メタデータ） (2021-08-25T22:43:20Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
  少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。 私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。 大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
  論文  参考訳（メタデータ） (2020-07-10T06:02:05Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition [79.92240030758575]
  本稿では,カリキュラム学習の概念を損失関数に組み込んだ適応型カリキュラム学習損失(CurricularFace)を提案する。 我々のCurricularFaceは、異なるトレーニング段階における簡単なサンプルとハードサンプルの相対的重要性を適応的に調整する。
  論文  参考訳（メタデータ） (2020-04-01T08:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。