論文の概要: Speeding-up One-vs-All Training for Extreme Classification via Smart Initialization

• arxiv url: http://arxiv.org/abs/2109.13122v1
• Date: Mon, 27 Sep 2021 15:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:23:20.028024
• Title: Speeding-up One-vs-All Training for Extreme Classification via Smart Initialization
• Title（参考訳）: スマートイニシャライゼーションによる極端分類のためのワン・vs・オール・トレーニングの高速化
• Authors: Erik Schultheis and Rohit Babbar
• Abstract要約: 極多重ラベル分類(XMC)における線形一対一(OVA)分類器の訓練を高速化するために,初期ベクトルを設定する簡単なデータ依存方式が利用できることを示す。 各種XMCデータセットの2乗ヒンジ損失を伴うトレーニングには,$approx 3times$の高速化を実演する。
• 参考スコア（独自算出の注目度）: 2.1549398927094874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we show that a simple, data dependent way of setting the initial vector can be used to substantially speed up the training of linear one-versus-all (OVA) classifiers in extreme multi-label classification (XMC). We discuss the problem of choosing the initial weights from the perspective of three goals. We want to start in a region of weight space a) with low loss value, b) that is favourable for second-order optimization, and c) where the conjugate-gradient (CG) calculations can be performed quickly. For margin losses, such an initialization is achieved by selecting the initial vector such that it separates the mean of all positive (relevant for a label) instances from the mean of all negatives -- two quantities that can be calculated quickly for the highly imbalanced binary problems occurring in XMC. We demonstrate a speedup of $\approx 3\times$ for training with squared hinge loss on a variety of XMC datasets. This comes in part from the reduced number of iterations that need to be performed due to starting closer to the solution, and in part from an implicit negative mining effect that allows to ignore easy negatives in the CG step. Because of the convex nature of the optimization problem, the speedup is achieved without any degradation in classification accuracy.
• Abstract（参考訳）: 本稿では,初期ベクトルを設定するための簡易なデータ依存手法を用いて,極限マルチラベル分類 (xmc) における線形 1-versus-all (ova) 分類器の訓練を高速化することを示す。 3つの目標の観点から初期重みを選択する問題について論じる。 私たちは重量空間の領域から始めたい a) 損失額が低いさま b)二階最適化に有利なこと,及び c) 共役段階(CG)計算を迅速に行うことができる。 マージン損失の場合、初期ベクトルを選択して全ての正の(ラベルの関連性)インスタンスの平均を全ての負の平均から切り離し、XMCで発生する高度に不均衡なバイナリ問題に対して素早く計算できる2つの量を選ぶことで、そのような初期化が達成される。 各種XMCデータセットの2乗ヒンジ損失を伴うトレーニングには,$\approx 3\times$の高速化を実証する。 これは、ソリューションに近いことから実行する必要のあるイテレーションの数が減ったことや、CGステップで容易に負を無視できる暗黙の負のマイニング効果によってもたらされる。 最適化問題の凸性から, 分類精度の低下を伴わずに高速化を実現する。

関連論文リスト

• A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent [46.040036610482666]
  我々は,群ラッソと群弾性ネットを解くために,ブロック座標降下に基づく高速でスケーラブルなアルゴリズムを開発した。 我々のベンチマークによると、我々のパッケージはシミュレーションと実際のデータセットの両方で、次の最速のパッケージよりも3倍から10倍高速である。
  論文  参考訳（メタデータ） (2024-05-14T14:10:48Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [158.19276683455254]
  アダプティブ勾配アルゴリズムは、重ボール加速の移動平均アイデアを借用し、勾配の第1次モーメントを正確に推定し、収束を加速する。 ネステロフ加速は、理論上はボール加速よりも早く収束し、多くの経験的ケースでも収束する。 本稿では,計算勾配の余分な計算とメモリオーバーヘッドを回避するため,Nesterov運動量推定法(NME)を提案する。 Adan は視覚変換器 (ViT と CNN) で対応する SoTA を上回り,多くの人気ネットワークに対して新たな SoTA を設定する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• Support Vector Machines with the Hard-Margin Loss: Optimal Training via Combinatorial Benders' Cuts [8.281391209717105]
  我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。 本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:21:51Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Meta-Learning with Adjoint Methods [16.753336086160598]
  メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。 本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。 人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2021-10-16T01:18:50Z)
• Fast Margin Maximization via Dual Acceleration [52.62944011696364]
  指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。 この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
  論文  参考訳（メタデータ） (2021-07-01T16:36:39Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Boosting Data Reduction for the Maximum Weight Independent Set Problem Using Increasing Transformations [59.84561168501493]
  最大重み独立集合問題に対する新しい一般化データ削減および変換規則を導入する。 驚くべきことに、これらのいわゆる増進変換は問題を単純化し、還元空間を開き、アルゴリズムの後にさらに小さな既約グラフが得られる。 提案アルゴリズムは, 1つのインスタンスを除くすべての既約グラフを計算し, 従来よりも多くのインスタンスを最適に解き, 最高の最先端解法よりも最大2桁高速に解き, 解法DynWVCやHILSよりも高品質な解を求める。
  論文  参考訳（メタデータ） (2020-08-12T08:52:50Z)
• Solution Path Algorithm for Twin Multi-class Support Vector Machine [6.97711662470035]
  本論文は, ツインマルチクラスサポートベクトルマシンの高速正規化パラメータチューニングアルゴリズムについて述べる。 新たなサンプルデータセット分割法を採用し,ラグランジアン乗算器は分数線形であることが証明された。 提案手法は,グリッド探索手法の計算コストを指数レベルから定数レベルに削減し,優れた分類性能を実現する。
  論文  参考訳（メタデータ） (2020-05-30T14:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。