論文の概要: UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification

• arxiv url: http://arxiv.org/abs/2405.03714v1
• Date: Sat, 4 May 2024 17:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:34:09.546559
• Title: UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification
• Title（参考訳）: UniDEC : 極多ラベル分類のための統一デュアルエンコーダと分類器訓練
• Authors: Siddhant Kharbanda, Devaansh Gupta, Gururaj K, Pankaj Malhotra, Cho-Jui Hsieh, Rohit Babbar,
• Abstract要約: Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
• 参考スコア（独自算出の注目度）: 42.36546066941635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme Multi-label Classification (XMC) involves predicting a subset of relevant labels from an extremely large label space, given an input query and labels with textual features. Models developed for this problem have conventionally used modular approach with (i) a Dual Encoder (DE) to embed the queries and label texts, (ii) a One-vs-All classifier to rerank the shortlisted labels mined through meta-classifier training. While such methods have shown empirical success, we observe two key uncharted aspects, (i) DE training typically uses only a single positive relation even for datasets which offer more, (ii) existing approaches fixate on using only OvA reduction of the multi-label problem. This work aims to explore these aspects by proposing UniDEC, a novel end-to-end trainable framework which trains the dual encoder and classifier in together in a unified fashion using a multi-class loss. For the choice of multi-class loss, the work proposes a novel pick-some-label (PSL) reduction of the multi-label problem with leverages multiple (in come cases, all) positives. The proposed framework achieves state-of-the-art results on a single GPU, while achieving on par results with respect to multi-GPU SOTA methods on various XML benchmark datasets, all while using 4-16x lesser compute and being practically scalable even beyond million label scale datasets.
• Abstract（参考訳）: Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この問題のために開発されたモデルは、伝統的にモジュラーアプローチを用いている。 (i)クエリを埋め込んでテキストをラベル付けするためのデュアルエンコーダ(DE) (ii) メタ分類器のトレーニングによって抽出されたショートリストラベルをリランクするOne-vs-All分類器。 このような手法は経験的成功を示しているが、2つの重要な未知の側面を観察する。 i)DEトレーニングは一般的に、より多くのデータを提供するデータセットであっても、単一のポジティブな関係しか使用しません。 (II) 既存のアプローチは, マルチラベル問題のOvA還元のみを用いることに固執している。 この研究は、デュアルエンコーダとクラシファイアをマルチクラス損失で統一的にトレーニングする、新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案することによって、これらの側面を探求することを目的としている。 マルチクラス損失の選択のために、この研究は、複数の(来るべき場合、すべて)正の値を利用するマルチラベル問題の新規なピック・アズ・ラベル(PSL)削減を提案する。 提案するフレームワークは,複数のXMLベンチマークデータセット上でのマルチGPU SOTAメソッドと同等の結果を達成しつつ,単一のGPU上での最先端結果を実現している。

関連論文リスト

• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• Reliable Representations Learning for Incomplete Multi-View Partial Multi-Label Classification [78.15629210659516]
  本稿ではRANKという不完全なマルチビュー部分的マルチラベル分類ネットワークを提案する。 既存の手法に固有のビューレベルの重みを分解し、各サンプルのビューに品質スコアを動的に割り当てる品質対応サブネットワークを提案する。 我々のモデルは、完全なマルチビューマルチラベルデータセットを処理できるだけでなく、欠落したインスタンスやラベルを持つデータセットでも機能する。
  論文  参考訳（メタデータ） (2023-03-30T03:09:25Z)
• An Effective Approach for Multi-label Classification with Missing Labels [8.470008570115146]
  分類ネットワークにさらなる複雑さをもたらすことなく、アノテーションのコストを削減するための擬似ラベルベースのアプローチを提案する。 新たな損失関数を設計することにより、各インスタンスが少なくとも1つの正のラベルを含む必要があるという要求を緩和することができる。 提案手法は,正のラベルと負のラベルの不均衡を扱える一方で,既存の欠落ラベル学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T23:13:57Z)
• Open Vocabulary Multi-Label Classification with Dual-Modal Decoder on Aligned Visual-Textual Features [14.334304670606633]
  本稿では,視覚的特徴とテキスト的特徴の整合性を備えた2次元デコーダ (DM-decoder) を含む新しいアルゴリズム,Aligned Dual MoDality ClaSsifier (ADDS) を提案する。 NUS-WIDE, ImageNet-1k, ImageNet-21k, MS-COCO など,いくつかの標準ベンチマークで実施された大規模な実験により,提案手法が従来の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T22:45:07Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• Learning Semantic Segmentation from Multiple Datasets with Label Shifts [101.24334184653355]
  本論文では,ラベル空間が異なる複数のデータセットを対象としたモデルの自動学習手法であるUniSegを提案する。 具体的には,ラベルの相反と共起を考慮に入れた2つの損失を提案する。
  論文  参考訳（メタデータ） (2022-02-28T18:55:19Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。