論文の概要: Dual-Encoders for Extreme Multi-Label Classification
- arxiv url: http://arxiv.org/abs/2310.10636v2
- Date: Sun, 17 Mar 2024 22:22:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 03:22:50.631163
- Title: Dual-Encoders for Extreme Multi-Label Classification
- Title（参考訳）: 極多ラベル分類のためのデュアルエンコーダ
- Authors: Nilesh Gupta, Devvrit Khatri, Ankit S Rawat, Srinadh Bhojanapalli, Prateek Jain, Inderjit Dhillon,
- Abstract要約: 本稿では,Dual-Encoder (DE) モデルが,極端なマルチラベル分類 (XMC) ベンチマークにおいて著しく不足していることを示す。
本稿では,既存のコントラスト損失の限界を克服するInfoNCE損失の簡易な修正を提案する。
提案した損失関数をトレーニングすると、標準のDEモデルだけで、Precision@1.1で最大2%のSOTAメソッドにマッチまたは性能が向上する。
- 参考スコア（独自算出の注目度）: 19.312120188406514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dual-encoder (DE) models are widely used in retrieval tasks, most commonly studied on open QA benchmarks that are often characterized by multi-class and limited training data. In contrast, their performance in multi-label and data-rich retrieval settings like extreme multi-label classification (XMC), remains under-explored. Current empirical evidence indicates that DE models fall significantly short on XMC benchmarks, where SOTA methods linearly scale the number of learnable parameters with the total number of classes (documents in the corpus) by employing per-class classification head. To this end, we first study and highlight that existing multi-label contrastive training losses are not appropriate for training DE models on XMC tasks. We propose decoupled softmax loss - a simple modification to the InfoNCE loss - that overcomes the limitations of existing contrastive losses. We further extend our loss design to a soft top-k operator-based loss which is tailored to optimize top-k prediction performance. When trained with our proposed loss functions, standard DE models alone can match or outperform SOTA methods by up to 2% at Precision@1 even on the largest XMC datasets while being 20x smaller in terms of the number of trainable parameters. This leads to more parameter-efficient and universally applicable solutions for retrieval tasks. Our code and models are publicly available at https://github.com/nilesh2797/dexml.
- Abstract（参考訳）: デュアルエンコーダ(DE)モデルは検索タスクで広く使われており、多くの場合、マルチクラスおよび限られたトレーニングデータによって特徴づけられるオープンQAベンチマークで研究されている。
対照的に、極端なマルチラベル分類(XMC)のようなマルチラベルおよびデータリッチな検索設定におけるそれらの性能は、未探索のままである。
現在の実証的な証拠は、DECモデルがXMCベンチマークで著しく不足していることを示しており、SOTA法では、クラスごとの分類ヘッドを用いて、学習可能なパラメータの数を、コーパス内のドキュメントの総数で線形にスケールする。
この目的のために,XMCタスク上でのDECモデルのトレーニングには,既存のマルチラベルコントラストトレーニング損失が適さないことをまず研究し,強調する。
我々は、既存の対照的な損失の限界を克服する、分離されたソフトマックス損失(InfoNCE損失の単純な修正)を提案する。
さらに、損失設計をソフトなトップk演算子ベースの損失に拡張し、トップk予測性能を最適化する。
提案した損失関数をトレーニングすると、トレーニング可能なパラメータの数を20倍小さくしながら、Precision@1で最大2%の精度でSOTAメソッドにマッチまたは性能を向上することができる。
これにより、よりパラメータ効率が高く、より普遍的に適用可能な検索タスクの解が得られる。
私たちのコードとモデルはhttps://github.com/nilesh2797/dexml.comで公開されています。
関連論文リスト
- Low-Resource Crop Classification from Multi-Spectral Time Series Using Lossless Compressors [6.379065975644869]
深層学習は多スペクトル時間データを用いた作物分類の精度を大幅に向上させた。
ラベル付きサンプルが少ない低リソース環境では、深層学習モデルは不十分なデータのために性能が悪い。
本稿では,これらの状況に対処するために,ディープラーニングモデルに代わる非学習的代替案を提案する。
論文 参考訳（メタデータ） (2024-05-28T12:28:12Z) - UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。
この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
論文 参考訳（メタデータ） (2024-05-04T17:27:51Z) - List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-02-05T06:52:53Z) - Zooming Out on Zooming In: Advancing Super-Resolution for Remote Sensing [31.409817016287704]
リモートセンシングのための超解像は、惑星の監視に大きな影響を与える可能性がある。
多くの注意を払っているにもかかわらず、いくつかの矛盾や課題により、実際にデプロイされるのを妨げている。
この研究は、従来の測定値よりも人間の判断にはるかによく対応している、超高解像度のCLIPScoreのための新しい測定基準を示す。
論文 参考訳（メタデータ） (2023-11-29T21:06:45Z) - Machine Learning Capability: A standardized metric using case difficulty
with applications to individualized deployment of supervised machine learning [2.2060666847121864]
モデル評価は教師付き機械学習分類解析において重要な要素である。
アイテム応答理論(IRT)と機械学習を用いたコンピュータ適応テスト(CAT)は、最終分類結果とは無関係にデータセットをベンチマークすることができる。
論文 参考訳（メタデータ） (2023-02-09T00:38:42Z) - Uncertainty in Extreme Multi-label Classification [81.14232824864787]
eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。
本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。
特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-18T20:54:33Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Dissecting Supervised Constrastive Learning [24.984074794337157]
高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。
コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
論文 参考訳（メタデータ） (2021-02-17T15:22:38Z) - Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。
複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。
RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
論文 参考訳（メタデータ） (2020-10-05T06:53:44Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳（メタデータ） (2020-10-05T01:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。