論文の概要: Extreme Classification via Adversarial Softmax Approximation

• arxiv url: http://arxiv.org/abs/2002.06298v1
• Date: Sat, 15 Feb 2020 01:42:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 22:53:29.987045
• Title: Extreme Classification via Adversarial Softmax Approximation
• Title（参考訳）: 逆ソフトマックス近似による極端分類
• Authors: Robert Bamler and Stephan Mandt
• Abstract要約: 逆モデルから負のサンプルを描画することで、勾配信号を大幅に強化する簡単な訓練法を提案する。 i) 負のサンプルを$C$で対数的に生成する対数サンプリング機構は,なおも安価な勾配更新をもたらす; (ii) この対数サンプリングは,非一様サンプリングによるバイアスを除去しながら勾配の分散を最小化できるという数学的証明; (iii) 大規模データセットにおける実験結果から,複数の競争基準値に対して,トレーニング時間を大幅に短縮することを示した。
• 参考スコア（独自算出の注目度）: 23.943134990807756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a classifier over a large number of classes, known as 'extreme classification', has become a topic of major interest with applications in technology, science, and e-commerce. Traditional softmax regression induces a gradient cost proportional to the number of classes $C$, which often is prohibitively expensive. A popular scalable softmax approximation relies on uniform negative sampling, which suffers from slow convergence due a poor signal-to-noise ratio. In this paper, we propose a simple training method for drastically enhancing the gradient signal by drawing negative samples from an adversarial model that mimics the data distribution. Our contributions are three-fold: (i) an adversarial sampling mechanism that produces negative samples at a cost only logarithmic in $C$, thus still resulting in cheap gradient updates; (ii) a mathematical proof that this adversarial sampling minimizes the gradient variance while any bias due to non-uniform sampling can be removed; (iii) experimental results on large scale data sets that show a reduction of the training time by an order of magnitude relative to several competitive baselines.
• Abstract（参考訳）: 極端分類」として知られる多くのクラスにまたがる分類器の訓練は、技術、科学、電子商取引の応用において大きな関心を集めている。 従来のソフトマックス回帰は、クラス$c$の数に比例する勾配コストを誘導するが、これはしばしば禁止的に高価である。 スケーラブルなソフトマックス近似は一様負サンプリングに依存しており、信号対雑音比が低いため収束が遅い。 本稿では,データ分布を模倣する逆方向モデルから負のサンプルを描画することにより,勾配信号を大幅に向上する簡単なトレーニング手法を提案する。 私たちの貢献は3倍です。 (i)$c$の対数のみのコストで負のサンプルを生成する逆サンプリング機構で、それでも安価に勾配更新を行うことができる。 (ii)非一様サンプリングによるバイアスを除去しながら,この逆サンプリングが勾配分散を最小化する数学的証明。 3) 大規模データセットにおける実験結果から,複数の競争基準値に対して,トレーニング時間を桁違いに短縮することを示した。

関連論文リスト

• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Boosting Adversarial Transferability by Achieving Flat Local Maxima [23.91315978193527]
  近年、様々な敵の攻撃が出現し、異なる視点から敵の移動可能性を高めている。 本研究では, 平坦な局所領域における逆例が良好な伝達性を持つ傾向があることを仮定し, 実証的に検証する。 目的関数の勾配更新を簡略化する近似最適化法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T14:21:02Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• SIMPLE: A Gradient Estimator for $k$-Subset Sampling [42.38652558807518]
  この作業では、フォワードパスの離散$k$-subsetサンプリングに戻ります。 勾配推定器 SIMPLE は, 最先端推定器と比較して, バイアスやばらつきが低いことを示す。 実験結果から,線形回帰を説明・スパースする学習性能が向上した。
  論文  参考訳（メタデータ） (2022-10-04T22:33:16Z)
• An adjoint-free algorithm for conditional nonlinear optimal perturbations (CNOPs) via sampling [5.758073912084367]
  我々は、条件付き非線形最適摂動(CNOP)を得るための最先端統計機械学習技術に基づくサンプリングアルゴリズムを提案する。 サンプリング手法は、目的関数値(ゼロ次情報)への勾配を直接減少させる 本研究では, 空間パターン, 目的値, 定量化計算時間, 非線形誤差成長を用いて得られたCNOPを実証する。
  論文  参考訳（メタデータ） (2022-08-01T16:07:22Z)
• Multi-label Contrastive Predictive Coding [125.03510235962095]
  差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。 本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。 同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T02:46:21Z)
• Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks [22.618779809748435]
  既存のサンプリング手法は主にグラフ構造情報に基づいており、最適化の動的性を無視する。 最小分散のノードを適応的にサンプリングする(近似)勾配情報を利用する分離分散低減戦略を提案する。 提案手法は,小バッチサイズが小さい場合でも,より高速な収束率とより優れた一般化を必要とすることを理論的,実証的に示す。
  論文  参考訳（メタデータ） (2020-06-24T16:49:29Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)
• Addressing Class-Imbalance Problem in Personalized Ranking [47.11372043636176]
  ペアランク付けモデルのクラスバランス問題を緩和するために,効率的なエンファンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アンダーライン アン VINSは、与えられた正の項目よりも大きい負の候補を受け入れる傾向にある確率を拒絶するバイアスサンプリングである。
  論文  参考訳（メタデータ） (2020-05-19T08:11:26Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。