論文の概要: The Implicit Bias of Gradient Descent on Separable Multiclass Data

• arxiv url: http://arxiv.org/abs/2411.01350v2
• Date: Thu, 07 Nov 2024 03:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 11:32:06.378501
• Title: The Implicit Bias of Gradient Descent on Separable Multiclass Data
• Title（参考訳）: 分離可能なマルチクラスデータに基づくグラディエントDescentのインプリシトバイアス
• Authors: Hrithik Ravi, Clayton Scott, Daniel Soudry, Yutong Wang,
• Abstract要約: 我々は、指数的尾特性のマルチクラス拡張を導入するために、置換同変と相対マージンベース(PERM)損失の枠組みを用いる。 提案手法は二分法の場合をよく反映しており,二分法と多分法のギャップを埋めるためのPERMフレームワークの威力を示すものである。
• 参考スコア（独自算出の注目度）: 38.05903703331163
• License:
• Abstract: Implicit bias describes the phenomenon where optimization-based training algorithms, without explicit regularization, show a preference for simple estimators even when more complex estimators have equal objective values. Multiple works have developed the theory of implicit bias for binary classification under the assumption that the loss satisfies an exponential tail property. However, there is a noticeable gap in analysis for multiclass classification, with only a handful of results which themselves are restricted to the cross-entropy loss. In this work, we employ the framework of Permutation Equivariant and Relative Margin-based (PERM) losses [Wang and Scott, 2024] to introduce a multiclass extension of the exponential tail property. This class of losses includes not only cross-entropy but also other losses. Using this framework, we extend the implicit bias result of Soudry et al. [2018] to multiclass classification. Furthermore, our proof techniques closely mirror those of the binary case, thus illustrating the power of the PERM framework for bridging the binary-multiclass gap.
• Abstract（参考訳）: インプリシットバイアスは、最適化に基づくトレーニングアルゴリズムが、明示的な正規化なしに、より複雑な推定器が同じ客観的値を持つ場合でも、単純な推定器の好みを示す現象を記述している。 複数の研究が、損失が指数的尾性を満たすという仮定のもと、二項分類のための暗黙バイアスの理論を開発した。 しかし、多クラス分類の分析には顕著なギャップがあり、その結果はわずかであり、それ自体がクロスエントロピー損失に限定されている。 本研究では、置換同変および相対マージンベース(PERM)損失のフレームワーク(Wang and Scott, 2024)を用い、指数的テール特性のマルチクラス拡張を導入する。 このタイプの損失には、クロスエントロピーだけでなく、他の損失も含まれる。 このフレームワークを用いて、Sudry et al[2018] の暗黙バイアス結果を多クラス分類に拡張する。 さらに,本手法は二進法の場合と密接に類似しており,二進法と多進法のギャップを埋めるためのPERMフレームワークの威力を示している。

関連論文リスト

• Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems [2.375943263571389]
  逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。 本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。 我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
  論文  参考訳（メタデータ） (2024-01-29T22:52:57Z)
• Unified Binary and Multiclass Margin-Based Classification [27.28814893730265]
  本稿では,多くの人気関数を含む多クラス損失関数を,相対的マージン形式で表現できることを示す。 次に、Fenchel-Young の損失のクラスを分析し、これらの損失の集合を分類校正(class-calibrated)として拡張する。
  論文  参考訳（メタデータ） (2023-11-29T16:24:32Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• General Loss Functions Lead to (Approximate) Interpolation in High Dimensions [6.738946307589741]
  閉形式における勾配降下の暗黙バイアスを概ね特徴づける統一的な枠組みを提供する。 具体的には、暗黙バイアスが高次元の最小ノルムに近似されている(正確には同値ではない)ことを示す。 また,本フレームワークは,バイナリとマルチクラス設定間で指数関数的に制限された損失に対して,既存の正確な等価性を回復する。
  論文  参考訳（メタデータ） (2023-03-13T21:23:12Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
  本稿では,対向摂動を伴う二分分類の問題について考察する。 データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。 損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
  論文  参考訳（メタデータ） (2020-10-29T07:20:37Z)
• Rethinking preventing class-collapsing in metric learning with margin-based losses [81.22825616879936]
  メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。 マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。 そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
  論文  参考訳（メタデータ） (2020-06-09T09:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。