論文の概要: UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification

• arxiv url: http://arxiv.org/abs/2405.03714v1
• Date: Sat, 4 May 2024 17:27:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-08 18:34:09.546559
• Title: UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification
• Title（参考訳）: UniDEC : 極多ラベル分類のための統一デュアルエンコーダと分類器訓練
• Authors: Siddhant Kharbanda, Devaansh Gupta, Gururaj K, Pankaj Malhotra, Cho-Jui Hsieh, Rohit Babbar,
• Abstract要約: Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
• 参考スコア（独自算出の注目度）: 42.36546066941635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme Multi-label Classification (XMC) involves predicting a subset of relevant labels from an extremely large label space, given an input query and labels with textual features. Models developed for this problem have conventionally used modular approach with (i) a Dual Encoder (DE) to embed the queries and label texts, (ii) a One-vs-All classifier to rerank the shortlisted labels mined through meta-classifier training. While such methods have shown empirical success, we observe two key uncharted aspects, (i) DE training typically uses only a single positive relation even for datasets which offer more, (ii) existing approaches fixate on using only OvA reduction of the multi-label problem. This work aims to explore these aspects by proposing UniDEC, a novel end-to-end trainable framework which trains the dual encoder and classifier in together in a unified fashion using a multi-class loss. For the choice of multi-class loss, the work proposes a novel pick-some-label (PSL) reduction of the multi-label problem with leverages multiple (in come cases, all) positives. The proposed framework achieves state-of-the-art results on a single GPU, while achieving on par results with respect to multi-GPU SOTA methods on various XML benchmark datasets, all while using 4-16x lesser compute and being practically scalable even beyond million label scale datasets.
• Abstract（参考訳）: Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この問題のために開発されたモデルは、伝統的にモジュラーアプローチを用いている。 (i)クエリを埋め込んでテキストをラベル付けするためのデュアルエンコーダ(DE) (ii) メタ分類器のトレーニングによって抽出されたショートリストラベルをリランクするOne-vs-All分類器。 このような手法は経験的成功を示しているが、2つの重要な未知の側面を観察する。 i)DEトレーニングは一般的に、より多くのデータを提供するデータセットであっても、単一のポジティブな関係しか使用しません。 (II) 既存のアプローチは, マルチラベル問題のOvA還元のみを用いることに固執している。 この研究は、デュアルエンコーダとクラシファイアをマルチクラス損失で統一的にトレーニングする、新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案することによって、これらの側面を探求することを目的としている。 マルチクラス損失の選択のために、この研究は、複数の(来るべき場合、すべて)正の値を利用するマルチラベル問題の新規なピック・アズ・ラベル(PSL)削減を提案する。 提案するフレームワークは,複数のXMLベンチマークデータセット上でのマルチGPU SOTAメソッドと同等の結果を達成しつつ,単一のGPU上での最先端結果を実現している。

関連論文リスト

• Bipartite Ranking From Multiple Labels: On Loss Versus Label Aggregation [66.28528968249255]
  両部ランク付けは基本的な教師付き学習問題であり、ROC曲線(英語版)(AUC)の下で最大領域を持つインスタンスのランク付けを1つのバイナリターゲットラベルに対して学習することを目的としている。 このようなラベルを1つのコヒーレントなランキングにどうやって合成できるのか? 本研究では,ベイズ最適解を特徴付けることにより,損失集約とラベル集約という2つの手法を解析する。
  論文  参考訳（メタデータ） (2025-04-15T15:25:27Z)
• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Reliable Representations Learning for Incomplete Multi-View Partial Multi-Label Classification [78.15629210659516]
  本稿ではRANKという不完全なマルチビュー部分的マルチラベル分類ネットワークを提案する。 既存の手法に固有のビューレベルの重みを分解し、各サンプルのビューに品質スコアを動的に割り当てる品質対応サブネットワークを提案する。 我々のモデルは、完全なマルチビューマルチラベルデータセットを処理できるだけでなく、欠落したインスタンスやラベルを持つデータセットでも機能する。
  論文  参考訳（メタデータ） (2023-03-30T03:09:25Z)
• An Effective Approach for Multi-label Classification with Missing Labels [8.470008570115146]
  分類ネットワークにさらなる複雑さをもたらすことなく、アノテーションのコストを削減するための擬似ラベルベースのアプローチを提案する。 新たな損失関数を設計することにより、各インスタンスが少なくとも1つの正のラベルを含む必要があるという要求を緩和することができる。 提案手法は,正のラベルと負のラベルの不均衡を扱える一方で,既存の欠落ラベル学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T23:13:57Z)
• Combining Metric Learning and Attention Heads For Accurate and Efficient Multilabel Image Classification [0.0]
  マルチラベル分類における2つの一般的なアプローチについて再検討する。 トランスフォーマーベースヘッドはグラフベースのブランチよりも優れた結果が得られると考えられるが、適切なトレーニング戦略により、グラフベースの手法はわずかに精度の低下を示すことができると論じる。
  論文  参考訳（メタデータ） (2022-09-14T12:06:47Z)
• Open Vocabulary Multi-Label Classification with Dual-Modal Decoder on Aligned Visual-Textual Features [14.334304670606633]
  本稿では,視覚的特徴とテキスト的特徴の整合性を備えた2次元デコーダ (DM-decoder) を含む新しいアルゴリズム,Aligned Dual MoDality ClaSsifier (ADDS) を提案する。 NUS-WIDE, ImageNet-1k, ImageNet-21k, MS-COCO など,いくつかの標準ベンチマークで実施された大規模な実験により,提案手法が従来の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-08-19T22:45:07Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• Learning Semantic Segmentation from Multiple Datasets with Label Shifts [101.24334184653355]
  本論文では,ラベル空間が異なる複数のデータセットを対象としたモデルの自動学習手法であるUniSegを提案する。 具体的には,ラベルの相反と共起を考慮に入れた2つの損失を提案する。
  論文  参考訳（メタデータ） (2022-02-28T18:55:19Z)
• Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier [2.4366811507669124]
  Local and Global Consistency (LGC)アルゴリズムは、グラフベースの半教師付き半教師付き(GSSL)分類器の1つである。 ラベル付きインスタンスの自己影響を取り除くことは、どのように有用か、そして、それがアウト・ワン・アウトエラーにどのように関係するかについて議論する。 本研究では,ラベルの信頼性と拡散率を推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-10T16:58:52Z)
• ECLARE: Extreme Classification with Label Graph Correlations [13.429436351837653]
  本稿では,ラベルテキストだけでなくラベル相関も組み込んだスケーラブルなディープラーニングアーキテクチャECLAREを提案し,数ミリ秒以内の正確なリアルタイム予測を実現する。 ECLAREは、Bing検索エンジンからソースされた関連製品レコメンデーションタスク用のプロプライエタリデータセットと同様に、公開可能なベンチマークデータセットの両方で2～14%精度の予測を提供する。
  論文  参考訳（メタデータ） (2021-07-31T15:13:13Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• Uncertainty-Aware Label Refinement for Sequence Labeling [47.67853514765981]
  長期ラベル依存性をモデル化する新しい2段階ラベルデコードフレームワークを提案する。 ベースモデルはまずドラフトラベルを予測し、次に新しい2ストリーム自己アテンションモデルはこれらのドラフト予測を洗練します。
  論文  参考訳（メタデータ） (2020-12-19T06:56:59Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)
• Unbiased Loss Functions for Extreme Classification With Missing Labels [1.6011907050002954]
  極端なマルチラベル分類(XMC)の目標は、非常に大きなラベルのセットから、関連するラベルの小さなサブセットでインスタンスをタグ付けすることである。 本研究では,ラベルを分解する損失関数の一般定式化のための非バイアス推定器を導出する。 抽出された非バイアス推定器は、極端分類のための最先端アルゴリズムに容易に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-07-01T04:42:12Z)
• Gradient Descent in RKHS with Importance Labeling [58.79085525115987]
  我々は重要ラベル付け問題について研究し、ラベルなしデータが多く与えられている。 ラベルなしデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
  論文  参考訳（メタデータ） (2020-06-19T01:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。