論文の概要: Large Language Model as a Teacher for Zero-shot Tagging at Extreme Scales

• arxiv url: http://arxiv.org/abs/2406.09288v2
• Date: Mon, 24 Feb 2025 13:10:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.350507
• Title: Large Language Model as a Teacher for Zero-shot Tagging at Extreme Scales
• Title（参考訳）: 極大規模ゼロショットタギングの教師としての大規模言語モデル
• Authors: Jinbin Zhang, Nasib Ullah, Rohit Babbar,
• Abstract要約: Extreme Zero-shot XMC (EZ-XMC) はアノテートされたデータなしで動作し、テキストインスタンスと事前に定義されたラベルセットにのみ依存する。 ICXMLのようなLCMベースのアプローチは、より優れたラベルインスタンスアライメントを実現するが、現実のEZ-XMCアプリケーションでは計算コストが高く、実用的ではない。 この2つのアプローチのギャップを埋める新しいフレームワークであるLMTXを紹介します。
• 参考スコア（独自算出の注目度）: 3.908992369351976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme Multi-label Text Classification (XMC) entails selecting the most relevant labels for an instance from a vast label set. Extreme Zero-shot XMC (EZ-XMC) extends this challenge by operating without annotated data, relying only on raw text instances and a predefined label set, making it particularly critical for addressing cold-start problems in large-scale recommendation and categorization systems. State-of-the-art methods, such as MACLR and RTS, leverage lightweight bi-encoders but rely on suboptimal pseudo labels for training, such as document titles (MACLR) or document segments (RTS), which may not align well with the intended tagging or categorization tasks. On the other hand, LLM-based approaches, like ICXML, achieve better label-instance alignment but are computationally expensive and impractical for real-world EZ-XMC applications due to their heavy inference costs. In this paper, we introduce LMTX (Large language Model as Teacher for eXtreme classification), a novel framework that bridges the gap between these two approaches. LMTX utilizes an LLM to identify high-quality pseudo labels during training, while employing a lightweight bi-encoder for efficient inference. This design eliminates the need for LLMs at inference time, offering the benefits of improved label alignment without sacrificing computational efficiency. Our approach achieves superior performance and efficiency over both LLM and non-LLM based approaches, establishing a new state-of-the-art in EZ-XMC.
• Abstract（参考訳）: Extreme Multi-label Text Classification (XMC) は、巨大なラベルセットからインスタンスの最も関連性の高いラベルを選択する。 Extreme Zero-shot XMC (EZ-XMC) は、注釈付きデータなしで操作し、生のテキストインスタンスと事前に定義されたラベルセットにのみ依存することで、大規模なレコメンデーションと分類システムにおけるコールドスタート問題に対処することが特に重要である。 MACLRやRTSのような最先端の手法では、軽量なバイエンコーダを利用するが、文書タイトル(MACLR)やドキュメントセグメント(RTS)といったトレーニングに最適な擬似ラベルを頼っている。 一方、ICXMLのようなLCMベースのアプローチは、より優れたラベル・インスタンス・アライメントを実現するが、実世界のEZ-XMCアプリケーションにとって計算コストが高く、かつ実用的ではない。 本稿では,LMTX(Large Language Model as Teacher for eXtreme Classification)を紹介する。 LMTXは、LLMを使用してトレーニング中に高品質な擬似ラベルを識別し、効率的な推論のために軽量なバイエンコーダを使用する。 この設計はLLMを推論時に不要にし、計算効率を犠牲にすることなくラベルアライメントを改善する利点を提供する。 提案手法はLLMと非LLMの両手法よりも優れた性能と効率を実現し,EZ-XMCにおける新しい最先端技術を確立する。

関連論文リスト

• Retrieval-augmented Encoders for Extreme Multi-label Text Classification [31.300502762878914]
  エクストリームマルチラベル分類(XMC)は、与えられたテキスト入力に対して非常に大きなラベルコレクションから関連するラベルを見つけようとする。 1-versus-all (OVA) 法では、各ラベルに学習可能なラベル埋め込みを使用し、記憶に優れる。 デュアルエンコーダ(DE)モデルは、入力とラベルのテキストを共有埋め込み空間にマッピングし、より一般化する。
  論文  参考訳（メタデータ） (2025-02-15T00:30:28Z)
• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• PINA: Leveraging Side Information in eXtreme Multi-label Classification via Predicted Instance Neighborhood Aggregation [105.52660004082766]
  eXtreme Multi-label Classification(XMC)問題は、非常に大きなラベル空間から関連するラベルを見つけることを目指している。 一般XMC問題に対するデータ強化手法であるPINA(Predicted Instance Neighborhood Aggregation)を提案する。 ラベルと入力インスタンスを機能のないインジケータと独立したエントリとして扱う既存のほとんどのXMCフレームワークとは異なり、PINAはラベルメタデータとトレーニングインスタンス間の相関関係から情報を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T05:00:40Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• Open Vocabulary Extreme Classification Using Generative Models [24.17018785195843]
  極端なマルチラベル分類(XMC)タスクは、非常に大きなラベルセットからラベルのサブセットでコンテンツをタグ付けすることを目的としている。 本稿では, ラベルの集合をフラットシーケンスとして生成し, 予測されたラベル順序に依存しない新たな損失を用いて訓練する GROOV を提案する。 提案手法の有効性を実証し,GROOVが与えられた語彙の外で有意なラベルを予測できるようなXMCデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-05-12T00:33:49Z)
• Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification [27.33039900612395]
  大規模多ラベルテキスト分類のための新しいメタデータ誘導コントラスト学習法(MICoL)を提案する。 MICoLは、Web上で広く利用可能なドキュメントメタデータを利用して、同様のドキュメントとドキュメントのペアを導き出す。 我々は,MICoLが強いゼロショットテキスト分類と対照的な学習ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-02-11T23:22:17Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
  MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。 親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。 大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-15T05:23:08Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)
• Label-Wise Document Pre-Training for Multi-Label Text Classification [14.439051753832032]
  本稿では,ラベル認識情報を用いた文書表現を実現するLW-PT法を提案する。 基本的な考え方は、複数ラベルの文書は、複数のラベルの表現の組み合わせとして表すことができ、相関ラベルは、常に同じまたは類似の文書で共起するということである。
  論文  参考訳（メタデータ） (2020-08-15T10:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。