論文の概要: Making Robust Generalizers Less Rigid with Soft Ascent-Descent

• arxiv url: http://arxiv.org/abs/2408.03619v1
• Date: Wed, 7 Aug 2024 08:23:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 13:34:00.741349
• Title: Making Robust Generalizers Less Rigid with Soft Ascent-Descent
• Title（参考訳）: ロバスト・ジェネラライザーのソフト・アクセント・ディフレッシュ化
• Authors: Matthew J. Holland, Toma Hamada,
• Abstract要約: シャープネスを意識した最小化を適用する手法は、画像分類タスクでは成功したが、最も難しいポイントが最も一般的でないシナリオでは、ディープニューラルネットワークのみを使用する。 本研究では,このような戦略が,より多様なモデルの下で劇的に破壊されうることを示すとともに,より堅牢な代替手段として,損失集中を低下させる訓練基準を提案し,評価する。
• 参考スコア（独自算出の注目度）: 6.527016551650139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the traditional formulation of machine learning tasks is in terms of performance on average, in practice we are often interested in how well a trained model performs on rare or difficult data points at test time. To achieve more robust and balanced generalization, methods applying sharpness-aware minimization to a subset of worst-case examples have proven successful for image classification tasks, but only using deep neural networks in a scenario where the most difficult points are also the least common. In this work, we show how such a strategy can dramatically break down under more diverse models, and as a more robust alternative, instead of typical sharpness we propose and evaluate a training criterion which penalizes poor loss concentration, which can be easily combined with loss transformations such as CVaR or DRO that control tail emphasis.
• Abstract（参考訳）: 従来の機械学習タスクの定式化は、平均的なパフォーマンスの観点ではありますが、実際には、トレーニングされたモデルがテスト時に珍しい、あるいは難しいデータポイントでどれだけうまく機能するかに関心があります。 より堅牢でバランスの取れた一般化を実現するために、最悪の例のサブセットにシャープネスを意識した最小化を適用する手法は、画像分類タスクで成功したが、最も困難なポイントが最も一般的でないシナリオでは、ディープニューラルネットワークのみを使用した。 本研究では,このような戦略が,より多様なモデルの下で劇的に破壊されることを示すとともに,従来のシャープさの代わりに,CVaRやDROなどの損失変換と容易に組み合わされるような,損失集中の低下を罰する訓練基準を提案し,評価する。

関連論文リスト

• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Simple and Fast Group Robustness by Automatic Feature Reweighting [45.9024045614187]
  突発的特徴への依存を軽減するために,自動特徴強調(AFR)を提案する。 AFRは、標準ERMトレーニングベースモデルの最後の層を重み付き損失で再訓練する。 いくつかの視覚および自然言語分類ベンチマークにおいて、刺激的な属性を伴わずに訓練された競合手法の最良の報告結果を改善する。
  論文  参考訳（メタデータ） (2023-06-19T17:19:13Z)
• Robust variance-regularized risk minimization with concomitant scaling [8.666172545138275]
  潜在的に重みのある損失の下では、分散を正確に見積もることなく、損失平均と標準偏差の和を最小化する作業を考える。 分散のないロバスト平均推定手法を改良することにより、従来の機械学習で使用する標準勾配解法と簡単に組み合わせられる簡単な学習手順を導出する。
  論文  参考訳（メタデータ） (2023-01-27T08:13:00Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
  本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。 我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。 単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
  論文  参考訳（メタデータ） (2021-08-25T22:43:20Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
  少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。 私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。 大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
  論文  参考訳（メタデータ） (2020-07-10T06:02:05Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition [79.92240030758575]
  本稿では,カリキュラム学習の概念を損失関数に組み込んだ適応型カリキュラム学習損失(CurricularFace)を提案する。 我々のCurricularFaceは、異なるトレーニング段階における簡単なサンプルとハードサンプルの相対的重要性を適応的に調整する。
  論文  参考訳（メタデータ） (2020-04-01T08:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。