論文の概要: Retrieval-augmented Encoders for Extreme Multi-label Text Classification

• arxiv url: http://arxiv.org/abs/2502.10615v1
• Date: Sat, 15 Feb 2025 00:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:17.606426
• Title: Retrieval-augmented Encoders for Extreme Multi-label Text Classification
• Title（参考訳）: 極多ラベルテキスト分類のための検索拡張エンコーダ
• Authors: Yau-Shian Wang, Wei-Cheng Chang, Jyun-Yu Jiang, Jiong Zhang, Hsiang-Fu Yu, S. V. N. Vishwanathan,
• Abstract要約: エクストリームマルチラベル分類(XMC)は、与えられたテキスト入力に対して非常に大きなラベルコレクションから関連するラベルを見つけようとする。 1-versus-all (OVA) 法では、各ラベルに学習可能なラベル埋め込みを使用し、記憶に優れる。 デュアルエンコーダ(DE)モデルは、入力とラベルのテキストを共有埋め込み空間にマッピングし、より一般化する。
• 参考スコア（独自算出の注目度）: 31.300502762878914
• License:
• Abstract: Extreme multi-label classification (XMC) seeks to find relevant labels from an extremely large label collection for a given text input. To tackle such a vast label space, current state-of-the-art methods fall into two categories. The one-versus-all (OVA) method uses learnable label embeddings for each label, excelling at memorization (i.e., capturing detailed training signals for accurate head label prediction). In contrast, the dual-encoder (DE) model maps input and label text into a shared embedding space for better generalization (i.e., the capability of predicting tail labels with limited training data), but may fall short at memorization. To achieve generalization and memorization, existing XMC methods often combine DE and OVA models, which involves complex training pipelines. Inspired by the success of retrieval-augmented language models, we propose the Retrieval-augmented Encoders for XMC (RAEXMC), a novel framework that equips a DE model with retrieval-augmented capability for efficient memorization without additional trainable parameter. During training, RAEXMC is optimized by the contrastive loss over a knowledge memory that consists of both input instances and labels. During inference, given a test input, RAEXMC retrieves the top-$K$ keys from the knowledge memory, and aggregates the corresponding values as the prediction scores. We showcase the effectiveness and efficiency of RAEXMC on four public LF-XMC benchmarks. RAEXMC not only advances the state-of-the-art (SOTA) DE method DEXML, but also achieves more than 10x speedup on the largest LF-AmazonTitles-1.3M dataset under the same 8 A100 GPUs training environments.
• Abstract（参考訳）: Extreme Multi-label classification (XMC) は、与えられたテキスト入力に対して非常に大きなラベルコレクションから関連するラベルを見つけようとする。 このような広大なラベル空間に取り組むために、現在の最先端の手法は2つのカテゴリに分類される。 1-versus-all (OVA) 法では各ラベルに学習可能なラベル埋め込みを使用し、記憶に優れる(例えば、正確なヘッドラベル予測のために詳細なトレーニング信号をキャプチャする)。 対照的に、デュアルエンコーダ(DE)モデルは、入力とラベルのテキストをより良い一般化のために共有埋め込み空間にマッピングする(例えば、訓練データに制限のあるテールラベルを予測する能力)が、暗記時に不足する可能性がある。 一般化と記憶を達成するために、既存のXMC法は複雑なトレーニングパイプラインを含むDEとOVAモデルを組み合わせていることが多い。 XMC(RAEXMC)のための検索拡張言語モデル(Retrieval-augmented Encoders for XMC)を提案する。 トレーニング中、RAEXMCは入力インスタンスとラベルの両方から構成される知識メモリに対する対照的な損失によって最適化される。 推論中、テスト入力が与えられた場合、RAEXMCは知識メモリから上位$K$キーを取得し、予測スコアとして対応する値を集約する。 4つのLF-XMCベンチマークにおいてRAEXMCの有効性と有効性を示す。 RAEXMCは、最先端(SOTA)のDEXMLメソッドを前進させるだけでなく、同じ8A100GPUトレーニング環境下で、LF-AmazonTitles-1.3Mデータセットで10倍以上のスピードアップを達成する。

関連論文リスト

• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• Zero-Shot Learning Over Large Output Spaces : Utilizing Indirect Knowledge Extraction from Large Language Models [3.908992369351976]
  Extreme Zero-shot XMC (EZ-XMC) はXMCの特別な設定であり、監督は提供されない。 従来の最先端の手法は、文書のタイトルやセグメントから擬似ラベルを抽出する。 大規模言語モデル(LLM)からのフィードバックにより,小さなバイエンコーダモデルをトレーニングするためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-13T16:26:37Z)
• UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
  Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
  論文  参考訳（メタデータ） (2024-05-04T17:27:51Z)
• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• PINA: Leveraging Side Information in eXtreme Multi-label Classification via Predicted Instance Neighborhood Aggregation [105.52660004082766]
  eXtreme Multi-label Classification(XMC)問題は、非常に大きなラベル空間から関連するラベルを見つけることを目指している。 一般XMC問題に対するデータ強化手法であるPINA(Predicted Instance Neighborhood Aggregation)を提案する。 ラベルと入力インスタンスを機能のないインジケータと独立したエントリとして扱う既存のほとんどのXMCフレームワークとは異なり、PINAはラベルメタデータとトレーニングインスタンス間の相関関係から情報を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T05:00:40Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization [75.45291796263103]
  階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。 関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。 2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
  論文  参考訳（メタデータ） (2021-04-12T06:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。