論文の概要: CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification

• arxiv url: http://arxiv.org/abs/2211.00640v1
• Date: Sat, 29 Oct 2022 11:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 11:59:04.928792
• Title: CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification
• Title（参考訳）: cascadexml: 極端マルチラベル分類におけるエンドツーエンドマルチレゾリューショントレーニングのためのトランスフォーマー再考
• Authors: Siddhant Kharbanda and Atmadeep Banerjee and Erik Schultheis and Rohit Babbar
• Abstract要約: Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 XR-TransformerやLightXMLといった最近のアプローチでは、トランスフォーマーインスタンスを活用して最先端のパフォーマンスを実現している。 本稿では,トランスフォーマーモデルの多層アーキテクチャを活用して,異なるラベル解像度に異なる特徴表現で対応可能な,エンドツーエンドのマルチレゾリューション学習パイプラインであるCascadeXMLを提案する。
• 参考スコア（独自算出の注目度）: 1.6886874648363768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme Multi-label Text Classification (XMC) involves learning a classifier that can assign an input with a subset of most relevant labels from millions of label choices. Recent approaches, such as XR-Transformer and LightXML, leverage a transformer instance to achieve state-of-the-art performance. However, in this process, these approaches need to make various trade-offs between performance and computational requirements. A major shortcoming, as compared to the Bi-LSTM based AttentionXML, is that they fail to keep separate feature representations for each resolution in a label tree. We thus propose CascadeXML, an end-to-end multi-resolution learning pipeline, which can harness the multi-layered architecture of a transformer model for attending to different label resolutions with separate feature representations. CascadeXML significantly outperforms all existing approaches with non-trivial gains obtained on benchmark datasets consisting of up to three million labels. Code for CascadeXML will be made publicly available at \url{https://github.com/xmc-aalto/cascadexml}.
• Abstract（参考訳）: Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連するラベルのサブセットで入力を割り当てることができる分類器を学習する。 XR-TransformerやLightXMLといった最近のアプローチでは、トランスフォーマーインスタンスを活用して最先端のパフォーマンスを実現している。 しかし、このプロセスでは、これらの手法は性能と計算要求の間で様々なトレードオフを行う必要がある。 Bi-LSTMベースのAttentionXMLと比較して、大きな欠点は、ラベルツリーの各解像度に別々の特徴表現を保持することができないことである。 そこで我々は,トランスフォーマーモデルの多層アーキテクチャを利用して,異なる特徴表現を持つラベル解像度に対応する,エンドツーエンドのマルチレゾリューション学習パイプラインであるCascadeXMLを提案する。 CascadeXMLは、最大300万のラベルからなるベンチマークデータセットで得られた非自明なゲインで、既存のすべてのアプローチを大幅に上回っている。 CascadeXML のコードは \url{https://github.com/xmc-aalto/cascadexml} で公開されている。

関連論文リスト

• UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
  Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
  論文  参考訳（メタデータ） (2024-05-04T17:27:51Z)
• Light-weight Deep Extreme Multilabel Classification [12.29534534973133]
  Extreme Multi-label (XML) 分類は、多数のラベルを含む教師付きマルチラベル学習のタスクを指す。 我々は最近開発されたディープラーニングベースのXMLフレームワークをラベル埋め込みを用いて変更するLightDXMLと呼ばれる手法を開発した。 LightDXMLはまた、再ランカモジュールの要求を取り除き、時間とメモリの要求をさらに節約する。
  論文  参考訳（メタデータ） (2023-04-20T09:06:10Z)
• A Survey on Extreme Multi-label Learning [72.8751573611815]
  マルチラベル学習は、近年、学術分野と産業分野の両方から大きな注目を集めている。 計算とメモリのオーバーヘッドのため、それらを非常に大きなラベル空間に直接適応することは不可能である。 eXtreme Multi-label Learning (XML)は重要なタスクとなり、多くの効果的なアプローチが提案されている。
  論文  参考訳（メタデータ） (2022-10-08T08:31:34Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [86.17081952197788]
  そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。 MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
  論文  参考訳（メタデータ） (2022-03-04T07:56:16Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• InceptionXML: A Lightweight Framework with Synchronized Negative Sampling for Short Text Extreme Classification [5.637543626451507]
  インセプションXMLは軽量で、強力で、ショートテキストクエリにおけるワードオーダーの欠如に対して堅牢です。 InceptionXMLは、ベンチマークデータセットの既存のアプローチよりも優れているだけでなく、変換器のベースラインがわずか2%のFLOPしか必要としないことを示す。
  論文  参考訳（メタデータ） (2021-09-13T18:55:37Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification [27.80266694835677]
  Extreme Multi-label text Classification (XMC) は、大きなラベルセットから最も関連性の高いラベルを見つけるタスクである。 エンドツーエンドのトレーニングと動的負ラベルサンプリングを採用したLightXMLを提案する。 実験では、LightXMLは5つの極端なマルチラベルデータセットで最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2021-01-09T07:04:18Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。