論文の概要: InceptionXML: A Lightweight Framework with Synchronized Negative Sampling for Short Text Extreme Classification

• arxiv url: http://arxiv.org/abs/2109.07319v4
• Date: Fri, 3 May 2024 17:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 18:43:25.939858
• Title: InceptionXML: A Lightweight Framework with Synchronized Negative Sampling for Short Text Extreme Classification
• Title（参考訳）: InceptionXML: 短いテキストのエクストリーム分類のための同期ネガティブサンプリングを備えた軽量フレームワーク
• Authors: Siddhant Kharbanda, Atmadeep Banerjee, Devaansh Gupta, Akash Palrecha, Rohit Babbar,
• Abstract要約: インセプションXMLは軽量で、強力で、ショートテキストクエリにおけるワードオーダーの欠如に対して堅牢です。 InceptionXMLは、ベンチマークデータセットの既存のアプローチよりも優れているだけでなく、変換器のベースラインがわずか2%のFLOPしか必要としないことを示す。
• 参考スコア（独自算出の注目度）: 5.637543626451507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic annotation of short-text data to a large number of target labels, referred to as Short Text Extreme Classification, has found numerous applications including prediction of related searches and product recommendation. In this paper, we propose a convolutional architecture InceptionXML which is light-weight, yet powerful, and robust to the inherent lack of word-order in short-text queries encountered in search and recommendation. We demonstrate the efficacy of applying convolutions by recasting the operation along the embedding dimension instead of the word dimension as applied in conventional CNNs for text classification. Towards scaling our model to datasets with millions of labels, we also propose SyncXML pipeline which improves upon the shortcomings of the recently proposed dynamic hard-negative mining technique for label short-listing by synchronizing the label-shortlister and extreme classifier. SyncXML not only reduces the inference time to half but is also an order of magnitude smaller than state-of-the-art Astec in terms of model size. Through a comprehensive empirical comparison, we show that not only can InceptionXML outperform existing approaches on benchmark datasets but also the transformer baselines requiring only 2% FLOPs. The code for InceptionXML is available at https://github.com/xmc-aalto/inceptionxml.
• Abstract（参考訳）: ショートテキスト・エクストリーム分類(Short Text Extreme Classification)と呼ばれる、多数のターゲットラベルに対するショートテキストデータの自動アノテーションは、関連する検索の予測や製品レコメンデーションを含む多くのアプリケーションを発見した。 本稿では,検索やレコメンデーションで発生する短文クエリにおける単語順序の欠如に対して,軽量で強力で堅牢な畳み込みアーキテクチャInceptionXMLを提案する。 テキスト分類における従来のCNNのように,単語次元ではなく埋め込み次元に沿って操作をリキャストすることで,畳み込みの適用の有効性を示す。 何百万ものラベルを持つデータセットにモデルをスケールするために、最近提案されたラベルショートリストと極端な分類器を同期させることにより、ラベルショートリストのための動的ハード負のマイニング手法の欠点を改善するSyncXMLパイプラインを提案する。 SyncXMLは推論時間を半分に短縮するだけでなく、モデルサイズの点で最先端のAstecよりも桁違いに小さい。 InceptionXMLは、ベンチマークデータセットにおける既存のアプローチよりも優れているだけでなく、変換器のベースラインがわずか2%のFLOPしか必要としないことを示す。 InceptionXMLのコードはhttps://github.com/xmc-aalto/inceptionxml.comで公開されている。

関連論文リスト

• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• REXEL: An End-to-end Model for Document-Level Relation Extraction and Entity Linking [11.374031643273941]
  REXELは文書レベルcIE(DocIE)の共同作業のための高効率かつ高精度なモデルである 同様の環境では、競合する既存のアプローチよりも平均11倍高速です。 速度と精度の組み合わせにより、REXELはWebスケールで構造化された情報を抽出する正確なコスト効率のシステムとなる。
  論文  参考訳（メタデータ） (2024-04-19T11:04:27Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification [1.6886874648363768]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 XR-TransformerやLightXMLといった最近のアプローチでは、トランスフォーマーインスタンスを活用して最先端のパフォーマンスを実現している。 本稿では,トランスフォーマーモデルの多層アーキテクチャを活用して,異なるラベル解像度に異なる特徴表現で対応可能な,エンドツーエンドのマルチレゾリューション学習パイプラインであるCascadeXMLを提案する。
  論文  参考訳（メタデータ） (2022-10-29T11:03:23Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• Exploiting Dynamic and Fine-grained Semantic Scope for Extreme Multi-label Text Classification [12.508006325140949]
  XMTC (Extreme Multi-label text classification) とは、あるテキストをラベル集合から最も関連性の高いサブセットにタグ付けする問題を指す。 既存のXMTC法の多くは、初期から得られた固定ラベルクラスタを利用して、テールラベルとヘッドラベルのパフォーマンスのバランスをとる。 我々は,教師の知識から動的かつきめ細かなセマンティックスコープを取り入れた,XMTCのための新しいフレームワークTReaderXMLを提案する。
  論文  参考訳（メタデータ） (2022-05-24T11:15:35Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization [75.45291796263103]
  階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。 関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。 2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
  論文  参考訳（メタデータ） (2021-04-12T06:04:20Z)
• Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
  Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。 最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。 疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-23T07:57:39Z)
• MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
  MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。 親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。 大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-15T05:23:08Z)
• LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification [27.80266694835677]
  Extreme Multi-label text Classification (XMC) は、大きなラベルセットから最も関連性の高いラベルを見つけるタスクである。 エンドツーエンドのトレーニングと動的負ラベルサンプリングを採用したLightXMLを提案する。 実験では、LightXMLは5つの極端なマルチラベルデータセットで最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2021-01-09T07:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。