論文の概要: InceptionXML: A Lightweight Framework with Synchronized Negative
Sampling for Short Text Extreme Classification
- arxiv url: http://arxiv.org/abs/2109.07319v3
- Date: Fri, 1 Mar 2024 06:39:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 14:47:39.442875
- Title: InceptionXML: A Lightweight Framework with Synchronized Negative
Sampling for Short Text Extreme Classification
- Title(参考訳): InceptionXML: 短いテキストのエクストリーム分類のための同期負サンプリングを備えた軽量フレームワーク
- Authors: Siddhant Kharbanda, Atmadeep Banerjee, Akash Palrecha, Devaansh Gupta,
Rohit Babbar
- Abstract要約: インセプションXMLは軽量で、強力で、短文クエリにおけるワードオーダーの欠如に対して堅牢です。
InceptionXML+フレームワークも提案し、最近提案された動的ハード負のマイニング手法の欠点を改善する。
- 参考スコア(独自算出の注目度): 5.9736304199708155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic annotation of short-text data to a large number of target labels,
referred to as Short Text Extreme Classification, has found numerous
applications including prediction of related searches and product
recommendation tasks. In this paper, we propose a convolutional architecture
InceptionXML which is light-weight, yet powerful, and robust to the inherent
lack of word-order in short-text queries encountered in search and
recommendation tasks. We demonstrate the efficacy of applying convolutions by
recasting the operation along the embedding dimension instead of the word
dimension as applied in conventional CNNs for text classification. Towards
scaling our model to datasets with millions of labels, we also propose
InceptionXML+ framework which improves upon the shortcomings of the recently
proposed dynamic hard-negative mining technique for label shortlisting by
synchronizing the label-shortlister and extreme classifier. InceptionXML+ not
only reduces the inference time to half but is also an order of magnitude
smaller than previous state-of-the-art Astec in terms of model size. Through
our proposed models, we outperform all existing approaches on popular benchmark
datasets.
- Abstract(参考訳): ショートテキスト極端分類と呼ばれる多数のターゲットラベルに対するショートテキストデータの自動アノテーションは、関連する検索の予測や製品推奨タスクなど、多くのアプリケーションを見出している。
本稿では,検索やレコメンデーションタスクで発生する短文クエリにおける単語順の欠如に対して,軽量で強力で堅牢な畳み込みアーキテクチャInceptionXMLを提案する。
従来のテキスト分類にcnnで適用される単語次元ではなく、埋め込み次元に沿って操作を再キャストすることにより畳み込みを適用する効果を示す。
また,数百万のラベルを用いたデータセットへのモデル拡張に向けて,最近提案されている動的ハードネガティブマイニング手法の欠点を改善したinceptionxml+フレームワークを提案する。
インセプションXML+は推論時間を半分に短縮するだけでなく、モデルサイズの点で従来の最先端のAstecよりも桁違いに小さい。
提案するモデルでは、一般的なベンチマークデータセットで既存のアプローチをすべて上回っています。
関連論文リスト
- HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text
Classification [19.12354692458442]
階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。
動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
論文 参考訳(メタデータ) (2024-01-24T04:44:42Z) - Substituting Data Annotation with Balanced Updates and Collective Loss
in Multi-label Text Classification [19.592985329023733]
MLTC(Multi-label text classification)は、あるテキストに複数のラベルを割り当てるタスクである。
本報告では,MLTCの問題点を,ラベル数に比例して,利用可能な監視信号の大きさが線形であるアノテーションフリーおよび希少アノテーション設定で検討する。
提案手法は,(1)事前学習した言語モデルを用いて,入力テキストを事前ラベル候補の集合にマッピングし,(2)ラベル記述による署名付きラベル依存グラフの計算,(3)ラベル依存グラフに沿ったメッセージパスによる事前ラベル候補の更新を行う。
論文 参考訳(メタデータ) (2023-09-24T04:12:52Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳(メタデータ) (2023-03-23T12:39:20Z) - LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。
本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。
提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
論文 参考訳(メタデータ) (2022-10-14T19:13:36Z) - Text Summarization with Oracle Expectation [88.39032981994535]
抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。
ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。
本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-26T14:10:08Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Long-tailed Extreme Multi-label Text Classification with Generated
Pseudo Label Descriptions [28.416742933744942]
本稿では,新しい手法を提案することで,テールラベル予測の課題に対処する。
これは、厳しいデータ不足条件下で情報ラベル記述を生成するための訓練されたbacker-of-words(BoW)分類器の有効性を組み合わせたものである。
提案手法はXMTCベンチマークデータセット上での最先端性能を実現し,これまでで最高の手法であるテールラベル予測を著しく上回っている。
論文 参考訳(メタデータ) (2022-04-02T23:42:32Z) - Conical Classification For Computationally Efficient One-Class Topic
Determination [0.0]
本稿では,特定のトピックに関連する文書を識別するコニカル分類手法を提案する。
分析の結果、我々のアプローチはデータセットの予測能力が高く、計算も高速であることがわかった。
論文 参考訳(メタデータ) (2021-10-31T01:27:12Z) - Coarse2Fine: Fine-grained Text Classification on Coarsely-grained
Annotated Data [22.81068960545234]
本稿では,粗い注釈付きデータに対して,きめ細かい分類を行うことを目的とした,粗い粒度分類と呼ばれる新しい問題を提案する。
新しいきめ細かい人間のアノテーションを求める代わりに、ラベル表面の名前のみを人間の手引きとして活用することにしました。
我々のフレームワークは、微調整された生成モデルを用いて、擬似学習データをサンプリングし、分類器を訓練し、実際のラベルなしデータをブートストラップしてモデル修正を行う。
論文 参考訳(メタデータ) (2021-09-22T17:29:01Z) - Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。
ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
論文 参考訳(メタデータ) (2020-05-18T15:27:55Z) - Low-Budget Label Query through Domain Alignment Enforcement [48.06803561387064]
我々は低予算ラベルクエリと呼ばれる新しい問題に取り組む。
まず、ソースとターゲットドメインの整合性を改善するために、Unsupervised Domain Adaptation (UDA) 法を改善します。
そこで我々は,予測整合分布の均一サンプリングに基づく簡易かつ効果的な選択法を提案する。
論文 参考訳(メタデータ) (2020-01-01T16:52:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。