論文の概要: Training Over-parameterized Models with Non-decomposable Objectives

• arxiv url: http://arxiv.org/abs/2107.04641v1
• Date: Fri, 9 Jul 2021 19:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:17:35.649273
• Title: Training Over-parameterized Models with Non-decomposable Objectives
• Title（参考訳）: 非可逆目的を持つオーバーパラメータモデルのトレーニング
• Authors: Harikrishna Narasimhan, Aditya Krishna Menon
• Abstract要約: より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。 私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
• 参考スコア（独自算出の注目度）: 46.62273918807789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many modern machine learning applications come with complex and nuanced design goals such as minimizing the worst-case error, satisfying a given precision or recall target, or enforcing group-fairness constraints. Popular techniques for optimizing such non-decomposable objectives reduce the problem into a sequence of cost-sensitive learning tasks, each of which is then solved by re-weighting the training loss with example-specific costs. We point out that the standard approach of re-weighting the loss to incorporate label costs can produce unsatisfactory results when used to train over-parameterized models. As a remedy, we propose new cost-sensitive losses that extend the classical idea of logit adjustment to handle more general cost matrices. Our losses are calibrated, and can be further improved with distilled labels from a teacher model. Through experiments on benchmark image datasets, we showcase the effectiveness of our approach in training ResNet models with common robust and constrained optimization objectives.
• Abstract（参考訳）: 多くの現代の機械学習アプリケーションは、最悪のケースエラーを最小限に抑えること、与えられた精度やリコールターゲットを満たすこと、グループフェアネスの制約を強制することなど、複雑で曖昧な設計目標を掲げている。 このような分解不能な目的を最適化するための一般的なテクニックは、問題をコストに敏感な一連の学習タスクに還元し、それぞれがサンプル固有のコストでトレーニング損失を再重み付けすることで解決する。 ラベルコストを組み込むために損失を再重み付けする標準的なアプローチは、過パラメータモデルのトレーニングで不満足な結果をもたらす可能性がある、と指摘する。 そこで本稿では,ロジット調整という古典的な考え方を拡張し,より一般的なコスト行列を扱うための新たなコスト感受性損失を提案する。 私たちの損失は校正され、教師モデルからの蒸留ラベルによってさらに改善できます。 ベンチマーク画像データセットの実験を通じて、共通の頑健で制約のある最適化目標を持つResNetモデルのトレーニングにおいて、我々のアプローチの有効性を示す。

関連論文リスト

• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Cost-Effective Retraining of Machine Learning Models [2.9461360639852914]
  データが時間とともに変化するにつれて、そのパフォーマンスを維持するためには、機械学習(ML)モデルを再トレーニングすることが重要です。 これにより、再トレーニングの頻度が高過ぎると、不要な計算コストが発生し、再トレーニングが不十分になる。 本稿では,MLモデルをいつ再トレーニングするかを自動かつ費用対効果で決定するMLシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T13:02:29Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Optimizing Data Collection for Machine Learning [87.37252958806856]
  現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。 過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。 本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:19:05Z)
• Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation [4.479834103607382]
  コストに敏感な分類は、誤分類エラーがコストで大きく異なるアプリケーションにおいて重要である。 本稿では,過度パラメータ化モデルにコスト感受性を持たせるために,コスト依存型逆データ拡張フレームワークを提案する。 提案手法は,全体のコストを効果的に最小化し,臨界誤差を低減するとともに,全体的な精度で同等の性能を達成できる。
  論文  参考訳（メタデータ） (2022-08-24T19:00:30Z)
• Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
  スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。 スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。 本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-08T21:24:20Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。