論文の概要: Large Language Model as a Teacher for Zero-shot Tagging at Extreme Scales

• arxiv url: http://arxiv.org/abs/2406.09288v2
• Date: Mon, 24 Feb 2025 13:10:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:47:12.005820
• Title: Large Language Model as a Teacher for Zero-shot Tagging at Extreme Scales
• Title（参考訳）: 極大規模ゼロショットタギングの教師としての大規模言語モデル
• Authors: Jinbin Zhang, Nasib Ullah, Rohit Babbar,
• Abstract要約: Extreme Zero-shot XMC (EZ-XMC) はアノテートされたデータなしで動作し、テキストインスタンスと事前に定義されたラベルセットにのみ依存する。 ICXMLのようなLCMベースのアプローチは、より優れたラベルインスタンスアライメントを実現するが、現実のEZ-XMCアプリケーションでは計算コストが高く、実用的ではない。 この2つのアプローチのギャップを埋める新しいフレームワークであるLMTXを紹介します。
• 参考スコア（独自算出の注目度）: 3.908992369351976
• License:
• Abstract: Extreme Multi-label Text Classification (XMC) entails selecting the most relevant labels for an instance from a vast label set. Extreme Zero-shot XMC (EZ-XMC) extends this challenge by operating without annotated data, relying only on raw text instances and a predefined label set, making it particularly critical for addressing cold-start problems in large-scale recommendation and categorization systems. State-of-the-art methods, such as MACLR and RTS, leverage lightweight bi-encoders but rely on suboptimal pseudo labels for training, such as document titles (MACLR) or document segments (RTS), which may not align well with the intended tagging or categorization tasks. On the other hand, LLM-based approaches, like ICXML, achieve better label-instance alignment but are computationally expensive and impractical for real-world EZ-XMC applications due to their heavy inference costs. In this paper, we introduce LMTX (Large language Model as Teacher for eXtreme classification), a novel framework that bridges the gap between these two approaches. LMTX utilizes an LLM to identify high-quality pseudo labels during training, while employing a lightweight bi-encoder for efficient inference. This design eliminates the need for LLMs at inference time, offering the benefits of improved label alignment without sacrificing computational efficiency. Our approach achieves superior performance and efficiency over both LLM and non-LLM based approaches, establishing a new state-of-the-art in EZ-XMC.
• Abstract（参考訳）: Extreme Multi-label Text Classification (XMC) は、巨大なラベルセットからインスタンスの最も関連性の高いラベルを選択する。 Extreme Zero-shot XMC (EZ-XMC) は、注釈付きデータなしで操作し、生のテキストインスタンスと事前に定義されたラベルセットにのみ依存することで、大規模なレコメンデーションと分類システムにおけるコールドスタート問題に対処することが特に重要である。 MACLRやRTSのような最先端の手法では、軽量なバイエンコーダを利用するが、文書タイトル(MACLR)やドキュメントセグメント(RTS)といったトレーニングに最適な擬似ラベルを頼っている。 一方、ICXMLのようなLCMベースのアプローチは、より優れたラベル・インスタンス・アライメントを実現するが、実世界のEZ-XMCアプリケーションにとって計算コストが高く、かつ実用的ではない。 本稿では,LMTX(Large Language Model as Teacher for eXtreme Classification)を紹介する。 LMTXは、LLMを使用してトレーニング中に高品質な擬似ラベルを識別し、効率的な推論のために軽量なバイエンコーダを使用する。 この設計はLLMを推論時に不要にし、計算効率を犠牲にすることなくラベルアライメントを改善する利点を提供する。 提案手法はLLMと非LLMの両手法よりも優れた性能と効率を実現し,EZ-XMCにおける新しい最先端技術を確立する。

関連論文リスト

• Retrieval-augmented Encoders for Extreme Multi-label Text Classification [31.300502762878914]
  エクストリームマルチラベル分類(XMC)は、与えられたテキスト入力に対して非常に大きなラベルコレクションから関連するラベルを見つけようとする。 1-versus-all (OVA) 法では、各ラベルに学習可能なラベル埋め込みを使用し、記憶に優れる。 デュアルエンコーダ(DE)モデルは、入力とラベルのテキストを共有埋め込み空間にマッピングし、より一般化する。
  論文  参考訳（メタデータ） (2025-02-15T00:30:28Z)
• Modelling Multi-modal Cross-interaction for ML-FSIC Based on Local Feature Selection [55.144394711196924]
  マルチラベル設定の重要な特徴は、画像がしばしば複数のラベルを持つことである。 本稿では,ラベルのプロトタイプを段階的に改良する戦略を提案する。 COCO, PASCAL VOC, NUS-WIDE, iMaterialist による実験により, このモデルにより最先端のモデルが大幅に改善されることが示された。
  論文  参考訳（メタデータ） (2024-12-18T11:10:18Z)
• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• Open Vocabulary Extreme Classification Using Generative Models [24.17018785195843]
  極端なマルチラベル分類(XMC)タスクは、非常に大きなラベルセットからラベルのサブセットでコンテンツをタグ付けすることを目的としている。 本稿では, ラベルの集合をフラットシーケンスとして生成し, 予測されたラベル順序に依存しない新たな損失を用いて訓練する GROOV を提案する。 提案手法の有効性を実証し,GROOVが与えられた語彙の外で有意なラベルを予測できるようなXMCデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-05-12T00:33:49Z)
• Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification [27.33039900612395]
  大規模多ラベルテキスト分類のための新しいメタデータ誘導コントラスト学習法(MICoL)を提案する。 MICoLは、Web上で広く利用可能なドキュメントメタデータを利用して、同様のドキュメントとドキュメントのペアを導き出す。 我々は,MICoLが強いゼロショットテキスト分類と対照的な学習ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-02-11T23:22:17Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。