論文の概要: Flatness-aware Curriculum Learning via Adversarial Difficulty

• arxiv url: http://arxiv.org/abs/2508.18726v1
• Date: Tue, 26 Aug 2025 06:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.708964
• Title: Flatness-aware Curriculum Learning via Adversarial Difficulty
• Title（参考訳）: 逆問題による平坦性を考慮したカリキュラム学習
• Authors: Hiroaki Aizawa, Yoshikazu Hayashi,
• Abstract要約: 本稿では,敵対的脆弱性を測定するために,ADM(Adversarial Difficulty Measure)を提案する。 ADMは、元の例と逆例の間の正規化損失ギャップを測定する。 我々は、画像分類タスク、きめ細かい認識、領域一般化に対するアプローチを評価する。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained by empirical risk minimization often suffer from overfitting, especially to specific samples or domains, which leads to poor generalization. Curriculum Learning (CL) addresses this issue by selecting training samples based on the difficulty. From the optimization perspective, methods such as Sharpness-Aware Minimization (SAM) improve robustness and generalization by seeking flat minima. However, combining CL with SAM is not straightforward. In flat regions, both the loss values and the gradient norms tend to become uniformly small, which makes it difficult to evaluate sample difficulty and design an effective curriculum. To overcome this problem, we propose the Adversarial Difficulty Measure (ADM), which quantifies adversarial vulnerability by leveraging the robustness properties of models trained toward flat minima. Unlike loss- or gradient-based measures, which become ineffective as training progresses into flatter regions, ADM remains informative by measuring the normalized loss gap between original and adversarial examples. We incorporate ADM into CL-based training with SAM to dynamically assess sample difficulty. We evaluated our approach on image classification tasks, fine-grained recognition, and domain generalization. The results demonstrate that our method preserves the strengths of both CL and SAM while outperforming existing curriculum-based and flatness-aware training strategies.
• Abstract（参考訳）: 経験的リスク最小化によって訓練されたニューラルネットワークは、特に特定のサンプルやドメインに対する過度な適合に悩まされることが多い。 カリキュラム学習(CL)は、難易度に基づいてトレーニングサンプルを選択することでこの問題に対処する。 最適化の観点からは、シャープネス・アウェアの最小化(SAM)のような手法は、平坦なミニマを求めることによってロバストネスと一般化を改善する。 しかし、CLとSAMを組み合わせることは簡単ではない。 平坦な地域では、損失値と勾配基準の両方が一様に小さくなる傾向にあり、サンプルの難易度を評価し、効果的なカリキュラムを設計することは困難である。 この問題を解決するために,フラットミニマに向けて訓練されたモデルのロバスト性を利用して,敵対的脆弱性を定量化するAdversarial Difficulty Measure (ADM)を提案する。 トレーニングがフラットな領域に進むにつれて効果が低下する損失ベースや勾配ベースの測定とは異なり、ADMは元の例と逆例の間の正規化された損失ギャップを測定することによって情報的であり続ける。 サンプルの難易度を動的に評価するために,ADM を SAM を用いた CL ベースのトレーニングに組み込んだ。 我々は,画像分類タスク,微粒化認識,領域一般化に対するアプローチを評価した。 その結果,本手法はCLとSAMの長所を保ちつつ,既存のカリキュラム・フラットネス・アウェア・トレーニング戦略よりも優れていた。

関連論文リスト

• Making Robust Generalizers Less Rigid with Loss Concentration [6.527016551650139]
  シャープネスを意識した最小化手法は、画像分類タスクに成功している。 このような戦略が、難易度がより極端になるようなより単純なモデルでどのように劇的に崩壊するかを示す。 損失集中度を低下させる訓練基準を提案し,評価する。
  論文  参考訳（メタデータ） (2024-08-07T08:23:42Z)
• Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.050160495730381]
  SAM ( sharpness-aware generalization) は性能向上に驚くべき効果があることから注目されている。 本稿では, 安定SAM (SSAM) と呼ばれる単純な再正規化戦略を提案する。 我々の戦略は実装が容易で、SAMとその変種と統合するのに十分な柔軟性があり、ほとんど計算コストがかからない。
  論文  参考訳（メタデータ） (2024-01-14T10:53:36Z)
• How the level sampling process impacts zero-shot generalisation in deep reinforcement learning [12.79149059358717]
  深い強化学習を通じて訓練された自律エージェントが広く採用されるのを防ぐ重要な制限は、新しい環境に一般化する能力の制限である。 本研究では,RLエージェントのゼロショット一般化能力に,個別環境インスタンスの非一様サンプリング戦略がどう影響するかを検討する。
  論文  参考訳（メタデータ） (2023-10-05T12:08:12Z)
• Mixed-order self-paced curriculum learning for universal lesion detection [36.198165949330566]
  自己評価カリキュラム学習(SCL)は,コンピュータビジョンや自然言語処理などにおいて,その大きな可能性を実証している。 オンラインデータの難易度推定に基づいて、簡単なサンプリングを実装している。 ほとんどのSCL手法は、初期のトレーニング段階でデータの難易度を推定し、ハードのサンプルを重み付けするロスベースの戦略を採用している。
  論文  参考訳（メタデータ） (2023-02-09T14:52:44Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them [57.957466608543676]
  機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。 曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
  論文  参考訳（メタデータ） (2020-06-15T13:50:23Z)
• Adaptive Adversarial Logits Pairing [65.51670200266913]
  逆行訓練ソリューションであるAdversarial Logits Pairing (ALP)は、脆弱なものに比べて、高い貢献度を少なくする傾向にある。 これらの観測により,適応型対数対数対数対数対数対数法 (AALP) を設計し,ALPのトレーニングプロセスとトレーニングターゲットを変更する。 AALPは適応的な機能最適化モジュールと Guided Dropout から構成されており、より少ない高コントリビューション機能を体系的に追求する。
  論文  参考訳（メタデータ） (2020-05-25T03:12:20Z)
• CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition [79.92240030758575]
  本稿では,カリキュラム学習の概念を損失関数に組み込んだ適応型カリキュラム学習損失(CurricularFace)を提案する。 我々のCurricularFaceは、異なるトレーニング段階における簡単なサンプルとハードサンプルの相対的重要性を適応的に調整する。
  論文  参考訳（メタデータ） (2020-04-01T08:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。