論文の概要: Efficacy of Dual-Encoders for Extreme Multi-Label Classification
- arxiv url: http://arxiv.org/abs/2310.10636v1
- Date: Mon, 16 Oct 2023 17:55:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:31:04.808998
- Title: Efficacy of Dual-Encoders for Extreme Multi-Label Classification
- Title(参考訳): 極端多重ラベル分類におけるデュアルエンコーダの有効性
- Authors: Nilesh Gupta, Devvrit Khatri, Ankit S Rawat, Srinadh Bhojanapalli,
Prateek Jain, Inderjit S Dhillon
- Abstract要約: 標準的なデュアルエンコーダは、Precision@1で最大2%のSOTA極端分類法に適合または性能を向上できることを示す。
また、Recall@kメトリクスを特に最適化するために使用できる、微分可能なトレックエラーベースの損失関数を提案する。
- 参考スコア(独自算出の注目度): 35.78602996685592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dual-encoder models have demonstrated significant success in dense retrieval
tasks for open-domain question answering that mostly involves zero-shot and
few-shot scenarios. However, their performance in many-shot retrieval problems
where training data is abundant, such as extreme multi-label classification
(XMC), remains under-explored. Existing empirical evidence suggests that, for
such problems, the dual-encoder method's accuracies lag behind the performance
of state-of-the-art (SOTA) extreme classification methods that grow the number
of learnable parameters linearly with the number of classes. As a result, some
recent extreme classification techniques use a combination of dual-encoders and
a learnable classification head for each class to excel on these tasks. In this
paper, we investigate the potential of "pure" DE models in XMC tasks. Our
findings reveal that when trained correctly standard dual-encoders can match or
outperform SOTA extreme classification methods by up to 2% at Precision@1 even
on the largest XMC datasets while being 20x smaller in terms of the number of
trainable parameters. We further propose a differentiable topk error-based loss
function, which can be used to specifically optimize for Recall@k metrics. We
include our PyTorch implementation along with other resources for reproducing
the results in the supplementary material.
- Abstract(参考訳): デュアルエンコーダモデルは、ほとんどゼロショットと少数ショットのシナリオを含むオープンドメイン質問応答のための密集した検索タスクにおいて大きな成功を収めている。
しかし、エクストリームマルチラベル分類(XMC)など、訓練データが豊富である多ショット検索問題では、その性能は未探索のままである。
既存の実証的証拠は、これらの問題に対して、クラス数と線形に学習可能なパラメータの数を増大させる、最先端(SOTA)極端分類法の性能よりも遅れていることを示唆している。
その結果、近年の極端な分類手法では、各クラスに2つのエンコーダと学習可能な分類ヘッドを組み合わせてこれらのタスクを最適化している。
本稿では, xmc タスクにおける "pure" de モデルのポテンシャルについて検討する。
この結果から,トレーニング可能なパラメータの数を20倍に抑えつつ,最大XMCデータセット上でも,トレーニング済みの2エンコーダを最大2%の精度でSOTA極端分類法に適合または上回ることができることがわかった。
さらに、Recall@kメトリクスを特に最適化するために使用できる、微分可能なトレックエラーベースの損失関数を提案する。
PyTorchの実装や、追加資料で結果を再現するための他のリソースも含んでいます。
関連論文リスト
- List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T06:52:53Z) - Robust Twin Parametric Margin Support Vector Machine for Multiclass
Classification [0.0]
マルチクラス分類の問題に対処するために,Twin Parametric-Margin Support Vector Machine (TPMSVM) モデルを提案する。
実世界のデータセットに対する予備計算実験は,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-09T19:27:24Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z) - Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix
Factorization [60.91600465922932]
本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。
我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
論文 参考訳(メタデータ) (2022-10-23T00:32:04Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-23T09:35:03Z) - Large Dual Encoders Are Generalizable Retrievers [26.42937314291077]
モデルサイズをスケールアップすることで,様々な検索タスクにおいて大幅な改善がもたらされることを示す。
textbf Generalizable textbfT5-based dense textbfRetrievers (GTR), outform %ColBERTcitekhattab2020colbert and existing sparse and dense retriever。
論文 参考訳(メタデータ) (2021-12-15T05:33:27Z) - Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
本稿では,対向摂動を伴う二分分類の問題について考察する。
データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。
損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
論文 参考訳(メタデータ) (2020-10-29T07:20:37Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳(メタデータ) (2020-08-27T13:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。