Fugu-MT 論文翻訳(概要): NGAME: Negative Mining-aware Mini-batching for Extreme Classification

論文の概要: NGAME: Negative Mining-aware Mini-batching for Extreme Classification

arxiv url: http://arxiv.org/abs/2207.04452v1
Date: Sun, 10 Jul 2022 12:32:12 GMT
ステータス: 処理完了
システム内更新日: 2022-07-12 16:32:21.410589
Title: NGAME: Negative Mining-aware Mini-batching for Extreme Classification
Title（参考訳）: NGAME:極端分類のための負のマイニング対応ミニバッチ
Authors: Kunal Dahiya, Nilesh Gupta, Deepak Saini, Akshay Soni, Yajun Wang, Kushal Dave, Jian Jiao, Gururaj K, Prasenjit Dey, Amit Singh, Deepesh Hada, Vidit Jain, Bhawna Paliwal, Anshul Mittal, Sonu Mehta, Ramachandran Ramjee, Sumeet Agarwal, Purushottam Kar, Manik Varma
Abstract要約: 本稿では, NGAMEについて紹介する。NGAMEは軽量なミニバッチ生成技術で, 正に正確なバッチ内負のサンプルを提供する。 NGAMEは、極端な分類のための幅広いベンチマークデータセットの最先端の手法よりも最大16%精度が高いことが判明した。
参考スコア（独自算出の注目度）: 31.00107203172698
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Extreme Classification (XC) seeks to tag data points with the most relevant subset of labels from an extremely large label set. Performing deep XC with dense, learnt representations for data points and labels has attracted much attention due to its superiority over earlier XC methods that used sparse, hand-crafted features. Negative mining techniques have emerged as a critical component of all deep XC methods that allow them to scale to millions of labels. However, despite recent advances, training deep XC models with large encoder architectures such as transformers remains challenging. This paper identifies that memory overheads of popular negative mining techniques often force mini-batch sizes to remain small and slow training down. In response, this paper introduces NGAME, a light-weight mini-batch creation technique that offers provably accurate in-batch negative samples. This allows training with larger mini-batches offering significantly faster convergence and higher accuracies than existing negative sampling techniques. NGAME was found to be up to 16% more accurate than state-of-the-art methods on a wide array of benchmark datasets for extreme classification, as well as 3% more accurate at retrieving search engine queries in response to a user webpage visit to show personalized ads. In live A/B tests on a popular search engine, NGAME yielded up to 23% gains in click-through-rates.
Abstract（参考訳）: extreme classification (xc) は、非常に大きなラベルセットから最も関連するラベルのサブセットでデータポイントをタグ付けする。深部XCをデータポイントやラベルの密度の高い学習表現で実行することは、スパースで手作りの機能を使った初期のXC手法よりも優れているため、多くの注目を集めている。負の鉱業技術は、数百万のラベルにスケール可能なすべての深部XCメソッドの重要な構成要素として現れている。しかし、近年の進歩にもかかわらず、トランスフォーマーのような大きなエンコーダアーキテクチャで深層XCモデルを訓練するのは難しい。本稿では、一般的な負のマイニング手法のメモリオーバーヘッドは、しばしばミニバッチサイズを小さくし、トレーニングを遅くする。本報告では, NGAMEについて述べる。NGAMEは軽量なミニバッチ生成技術で, 正に正確なバッチ内負のサンプルを提供する。これにより、既存のネガティブサンプリング技術よりもはるかに高速な収束と高精度なトレーニングが可能になる。 ngameは、極端な分類のための幅広いベンチマークデータセットにおいて、最先端の方法よりも最大16%正確であることが分かり、また、パーソナライズされた広告を表示するために、ユーザのwebページ訪問に応じて、検索エンジンクエリを取得するのに3%正確であることが判明した。人気検索エンジンのライブA/Bテストでは、NGAMEはクリックスルーレートで最大23%上昇した。

関連論文リスト

Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
論文参考訳（メタデータ） (2024-10-27T10:24:23Z)
ASTRA: Accurate and Scalable ANNS-based Training of Extreme Classifiers [13.633871625193882]
高精度でスケーラブルなExtreme分類アルゴリズムASTRAを開発した。 ASTRAはSOTA精度を達成し、トレーニング時間を第2のベストに対して4倍から15倍に短縮する。
論文参考訳（メタデータ） (2024-09-30T10:07:28Z)
Semi-supervised 3D Object Detection with PatchTeacher and PillarMix [71.4908268136439]
現在の半教師付き3Dオブジェクト検出法では、教師が学生に擬似ラベルを生成するのが一般的である。学生に高品質な擬似ラベルを提供するために,部分的なシーン3Dオブジェクト検出に焦点を当てたPatchTeacherを提案する。本稿では,PatchTeacherの性能向上のために,Patch Normalizer,Quadrant Align,Fovea Selectionの3つの重要なテクニックを紹介する。
論文参考訳（メタデータ） (2024-07-13T06:58:49Z)
Graph Regularized Encoder Training for Extreme Classification [30.3270895997248]
RAMENは最大100万のラベルを持つデータセットにスケールし、ベンチマークデータセット上での予測精度を、最先端のメソッドよりも最大15%高く提供する。 RAMENはまた、人気のある検索エンジンのクリックログから得られたプロプライエタリなレコメンデーションデータセットに対して、最高のベースラインよりも10%高い精度を提供する。
論文参考訳（メタデータ） (2024-02-28T16:00:25Z)
Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels [65.79898033530408]
極音下での学習に明示的に取り組むために,LC-Boosterと呼ばれる新しい枠組みを導入する。 LC-Boosterは、ラベル補正をサンプル選択に組み込むことで、信頼性の高いラベル修正を通じて、より精製されたサンプルをトレーニングに利用することができる。実験により、LC-Boosterはいくつかのノイズラベルベンチマークで最先端の結果を前進させることが示された。
論文参考訳（メタデータ） (2022-04-30T07:19:03Z)
BoMD: Bag of Multi-label Descriptors for Noisy Chest X-ray Classification [25.76256302330625]
新しい医用画像分類問題は、放射線医学レポートから抽出された機械生成ノイズラベルに依存する必要があるかもしれない。マルチクラス問題に対して設計された現在の雑音ラベル学習法は容易には適用できない。本稿では,データセットからサンプルを検出し,スムーズに再ラベルする,ノイズの多い多ラベルCXR学習のための新しい手法を提案する。
論文参考訳（メタデータ） (2022-03-03T08:04:59Z)
SparseDet: Improving Sparsely Annotated Object Detection with Pseudo-positive Mining [76.95808270536318]
Pseudo- positive mining を用いてラベル付き地域とラベルなし地域を分離するエンド・ツー・エンドシステムを提案する。ラベル付き領域は通常通り処理されるが、ラベルなし領域の処理には自己教師付き学習が使用される。我々は,PASCAL-VOCとCOCOデータセットの5つの分割に対して,最先端の性能を達成するための徹底的な実験を行った。
論文参考訳（メタデータ） (2022-01-12T18:57:04Z)
Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
論文参考訳（メタデータ） (2021-12-16T06:06:42Z)
CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
論文参考訳（メタデータ） (2021-10-29T18:41:15Z)
ECLARE: Extreme Classification with Label Graph Correlations [13.429436351837653]
本稿では,ラベルテキストだけでなくラベル相関も組み込んだスケーラブルなディープラーニングアーキテクチャECLAREを提案し,数ミリ秒以内の正確なリアルタイム予測を実現する。 ECLAREは、Bing検索エンジンからソースされた関連製品レコメンデーションタスク用のプロプライエタリデータセットと同様に、公開可能なベンチマークデータセットの両方で2～14%精度の予測を提供する。
論文参考訳（メタデータ） (2021-07-31T15:13:13Z)
Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
論文参考訳（メタデータ） (2021-04-04T06:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。