論文の概要: Efficacy of Dual-Encoders for Extreme Multi-Label Classification
- arxiv url: http://arxiv.org/abs/2310.10636v1
- Date: Mon, 16 Oct 2023 17:55:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:31:04.808998
- Title: Efficacy of Dual-Encoders for Extreme Multi-Label Classification
- Title（参考訳）: 極端多重ラベル分類におけるデュアルエンコーダの有効性
- Authors: Nilesh Gupta, Devvrit Khatri, Ankit S Rawat, Srinadh Bhojanapalli,
Prateek Jain, Inderjit S Dhillon
- Abstract要約: 標準的なデュアルエンコーダは、Precision@1で最大2%のSOTA極端分類法に適合または性能を向上できることを示す。
また、Recall@kメトリクスを特に最適化するために使用できる、微分可能なトレックエラーベースの損失関数を提案する。
- 参考スコア（独自算出の注目度）: 35.78602996685592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dual-encoder models have demonstrated significant success in dense retrieval
tasks for open-domain question answering that mostly involves zero-shot and
few-shot scenarios. However, their performance in many-shot retrieval problems
where training data is abundant, such as extreme multi-label classification
(XMC), remains under-explored. Existing empirical evidence suggests that, for
such problems, the dual-encoder method's accuracies lag behind the performance
of state-of-the-art (SOTA) extreme classification methods that grow the number
of learnable parameters linearly with the number of classes. As a result, some
recent extreme classification techniques use a combination of dual-encoders and
a learnable classification head for each class to excel on these tasks. In this
paper, we investigate the potential of "pure" DE models in XMC tasks. Our
findings reveal that when trained correctly standard dual-encoders can match or
outperform SOTA extreme classification methods by up to 2% at Precision@1 even
on the largest XMC datasets while being 20x smaller in terms of the number of
trainable parameters. We further propose a differentiable topk error-based loss
function, which can be used to specifically optimize for Recall@k metrics. We
include our PyTorch implementation along with other resources for reproducing
the results in the supplementary material.
- Abstract（参考訳）: デュアルエンコーダモデルは、ほとんどゼロショットと少数ショットのシナリオを含むオープンドメイン質問応答のための密集した検索タスクにおいて大きな成功を収めている。
しかし、エクストリームマルチラベル分類(XMC)など、訓練データが豊富である多ショット検索問題では、その性能は未探索のままである。
既存の実証的証拠は、これらの問題に対して、クラス数と線形に学習可能なパラメータの数を増大させる、最先端(SOTA)極端分類法の性能よりも遅れていることを示唆している。
その結果、近年の極端な分類手法では、各クラスに2つのエンコーダと学習可能な分類ヘッドを組み合わせてこれらのタスクを最適化している。
本稿では, xmc タスクにおける "pure" de モデルのポテンシャルについて検討する。
この結果から,トレーニング可能なパラメータの数を20倍に抑えつつ,最大XMCデータセット上でも,トレーニング済みの2エンコーダを最大2%の精度でSOTA極端分類法に適合または上回ることができることがわかった。
さらに、Recall@kメトリクスを特に最適化するために使用できる、微分可能なトレックエラーベースの損失関数を提案する。
PyTorchの実装や、追加資料で結果を再現するための他のリソースも含んでいます。
関連論文リスト
- Low-Resource Crop Classification from Multi-Spectral Time Series Using Lossless Compressors [6.379065975644869]
深層学習は多スペクトル時間データを用いた作物分類の精度を大幅に向上させた。
ラベル付きサンプルが少ない低リソース環境では、深層学習モデルは不十分なデータのために性能が悪い。
本稿では,これらの状況に対処するために,ディープラーニングモデルに代わる非学習的代替案を提案する。
論文 参考訳（メタデータ） (2024-05-28T12:28:12Z) - UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。
この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
論文 参考訳（メタデータ） (2024-05-04T17:27:51Z) - List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-02-05T06:52:53Z) - Zooming Out on Zooming In: Advancing Super-Resolution for Remote Sensing [31.409817016287704]
リモートセンシングのための超解像は、惑星の監視に大きな影響を与える可能性がある。
多くの注意を払っているにもかかわらず、いくつかの矛盾や課題により、実際にデプロイされるのを妨げている。
この研究は、従来の測定値よりも人間の判断にはるかによく対応している、超高解像度のCLIPScoreのための新しい測定基準を示す。
論文 参考訳（メタデータ） (2023-11-29T21:06:45Z) - Machine Learning Capability: A standardized metric using case difficulty
with applications to individualized deployment of supervised machine learning [2.2060666847121864]
モデル評価は教師付き機械学習分類解析において重要な要素である。
アイテム応答理論(IRT)と機械学習を用いたコンピュータ適応テスト(CAT)は、最終分類結果とは無関係にデータセットをベンチマークすることができる。
論文 参考訳（メタデータ） (2023-02-09T00:38:42Z) - Uncertainty in Extreme Multi-label Classification [81.14232824864787]
eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。
本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。
特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-18T20:54:33Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Dissecting Supervised Constrastive Learning [24.984074794337157]
高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。
コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
論文 参考訳（メタデータ） (2021-02-17T15:22:38Z) - Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。
複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。
RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
論文 参考訳（メタデータ） (2020-10-05T06:53:44Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳（メタデータ） (2020-10-05T01:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。