論文の概要: Zero-Shot Learning Over Large Output Spaces : Utilizing Indirect Knowledge Extraction from Large Language Models

• arxiv url: http://arxiv.org/abs/2406.09288v1
• Date: Thu, 13 Jun 2024 16:26:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:55:18.330794
• Title: Zero-Shot Learning Over Large Output Spaces : Utilizing Indirect Knowledge Extraction from Large Language Models
• Title（参考訳）: 大規模出力空間におけるゼロショット学習 : 大規模言語モデルからの間接的知識抽出の利用
• Authors: Jinbin Zhang, Nasib Ullah, Rohit Babbar,
• Abstract要約: Extreme Zero-shot XMC (EZ-XMC) はXMCの特別な設定であり、監督は提供されない。 従来の最先端の手法は、文書のタイトルやセグメントから擬似ラベルを抽出する。 大規模言語モデル(LLM)からのフィードバックにより,小さなバイエンコーダモデルをトレーニングするためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.908992369351976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme Multi-label Learning (XMC) is a task that allocates the most relevant labels for an instance from a predefined label set. Extreme Zero-shot XMC (EZ-XMC) is a special setting of XMC wherein no supervision is provided; only the instances (raw text of the document) and the predetermined label set are given. The scenario is designed to address cold-start problems in categorization and recommendation. Traditional state-of-the-art methods extract pseudo labels from the document title or segments. These labels from the document are used to train a zero-shot bi-encoder model. The main issue with these generated labels is their misalignment with the tagging task. In this work, we propose a framework to train a small bi-encoder model via the feedback from the large language model (LLM), the bi-encoder model encodes the document and labels into embeddings for retrieval. Our approach leverages the zero-shot ability of LLM to assess the correlation between labels and the document instead of using the low-quality labels extracted from the document itself. Our method also guarantees fast inference without the involvement of LLM. The performance of our approach outperforms the SOTA methods on various datasets while retaining a similar training time for large datasets.
• Abstract（参考訳）: Extreme Multi-label Learning (XMC) は、事前に定義されたラベルセットからインスタンスの最も関連性の高いラベルを割り当てるタスクである。 Extreme Zero-shot XMC (EZ-XMC) は、XMCの特別な設定であり、監視が不要で、インスタンス(文書の原文)と所定のラベルセットのみを付与する。 このシナリオは、分類とレコメンデーションにおけるコールドスタート問題に対処するために設計されている。 従来の最先端の手法は、文書のタイトルやセグメントから擬似ラベルを抽出する。 文書からのこれらのラベルは、ゼロショットバイエンコーダモデルをトレーニングするために使用される。 これらの生成されたラベルの主な問題は、タグ付けタスクとの相違である。 本研究では,大規模な言語モデル (LLM) からフィードバックを得て,文書とラベルをエンコードして検索する,小さなバイエンコーダモデルをトレーニングするフレームワークを提案する。 提案手法では,低品質なラベルを文書自体から抽出する代わりに,ラベルと文書の相関性を評価するため,LCMのゼロショット機能を活用している。 LLMの関与なしに高速な推論も保証する。 提案手法の性能は, 各種データセット上でのSOTA法よりも優れ, 大規模データセットのトレーニング時間も同等である。

関連論文リスト

• Prototypical Extreme Multi-label Classification with a Dynamic Margin Loss [6.244642999033755]
  XMC (Extreme Multi-label Classification) メソッドは、非常に大きなラベル空間において、与えられたクエリの関連ラベルを予測する。 XMCにおける最近の研究は、テキスト記述を最も近いラベルの復元に適した埋め込み空間に投影するディープエンコーダを用いてこの問題に対処している。 本稿では,新しいプロトタイプ・コントラスト学習技術を用いて,ブルートフォース手法を超越した効率と性能を再現するXMC手法PRIMEを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:24:23Z)
• Learning label-label correlations in Extreme Multi-label Classification via Label Features [44.00852282861121]
  Extreme Multi-label Text Classification (XMC)は、数百万のラベル選択から最も関連性の高いラベルのサブセットで入力を割り当てることができる分類器を学習する。 ラベル機能付き短文XMCは、検索広告におけるクエリ・ツー・アド・フレーズマッチング、タイトルベースの製品推薦、関連する検索の予測など、多くの分野に応用されている。 本稿では,ラベル共起グラフを用いてラベル特徴を付加データポイントとして活用し,トレーニング分布を補完する新しい手法であるガンダルフを提案する。
  論文  参考訳（メタデータ） (2024-05-03T21:18:43Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• Open Vocabulary Extreme Classification Using Generative Models [24.17018785195843]
  極端なマルチラベル分類(XMC)タスクは、非常に大きなラベルセットからラベルのサブセットでコンテンツをタグ付けすることを目的としている。 本稿では, ラベルの集合をフラットシーケンスとして生成し, 予測されたラベル順序に依存しない新たな損失を用いて訓練する GROOV を提案する。 提案手法の有効性を実証し,GROOVが与えられた語彙の外で有意なラベルを予測できるようなXMCデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-05-12T00:33:49Z)
• Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification [27.33039900612395]
  大規模多ラベルテキスト分類のための新しいメタデータ誘導コントラスト学習法(MICoL)を提案する。 MICoLは、Web上で広く利用可能なドキュメントメタデータを利用して、同様のドキュメントとドキュメントのペアを導き出す。 我々は,MICoLが強いゼロショットテキスト分類と対照的な学習ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-02-11T23:22:17Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• Label Disentanglement in Partition-based Extreme Multilabel Classification [111.25321342479491]
  分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。 提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
  論文  参考訳（メタデータ） (2021-06-24T03:24:18Z)
• MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
  MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。 親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。 大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-15T05:23:08Z)
• Label-Wise Document Pre-Training for Multi-Label Text Classification [14.439051753832032]
  本稿では,ラベル認識情報を用いた文書表現を実現するLW-PT法を提案する。 基本的な考え方は、複数ラベルの文書は、複数のラベルの表現の組み合わせとして表すことができ、相関ラベルは、常に同じまたは類似の文書で共起するということである。
  論文  参考訳（メタデータ） (2020-08-15T10:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。