論文の概要: Text Grafting: Near-Distribution Weak Supervision for Minority Classes in Text Classification

• arxiv url: http://arxiv.org/abs/2406.11115v1
• Date: Mon, 17 Jun 2024 00:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:53:41.105780
• Title: Text Grafting: Near-Distribution Weak Supervision for Minority Classes in Text Classification
• Title（参考訳）: テキストグラフト:テキスト分類におけるマイノリティクラスのための近分布弱スーパービジョン
• Authors: Letian Peng, Yi Gu, Chengyu Dong, Zihan Wang, Jingbo Shang,
• Abstract要約: テキストグラフトは、マイノリティクラスでの直接採掘や合成よりも大幅に改善されている。 まず LLM ベースのロジットを用いて生コーパスからマスク付きテンプレートをマイニングする。 次に、テンプレートは最先端のLCMで満たされ、マイノリティクラスに該当する近分布テキストを合成する。
• 参考スコア（独自算出の注目度）: 43.96555554100483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For extremely weak-supervised text classification, pioneer research generates pseudo labels by mining texts similar to the class names from the raw corpus, which may end up with very limited or even no samples for the minority classes. Recent works have started to generate the relevant texts by prompting LLMs using the class names or definitions; however, there is a high risk that LLMs cannot generate in-distribution (i.e., similar to the corpus where the text classifier will be applied) data, leading to ungeneralizable classifiers. In this paper, we combine the advantages of these two approaches and propose to bridge the gap via a novel framework, \emph{text grafting}, which aims to obtain clean and near-distribution weak supervision for minority classes. Specifically, we first use LLM-based logits to mine masked templates from the raw corpus, which have a high potential for data synthesis into the target minority class. Then, the templates are filled by state-of-the-art LLMs to synthesize near-distribution texts falling into minority classes. Text grafting shows significant improvement over direct mining or synthesis on minority classes. We also use analysis and case studies to comprehend the property of text grafting.
• Abstract（参考訳）: 極端に弱められたテキスト分類のために、先駆的な研究は、生のコーパスからクラス名に似たテキストをマイニングすることで擬似ラベルを生成する。 最近の研究は、クラス名や定義を使って LLM に関連テキストを生成し始めたが、LCM が in-distribution (すなわち、テキスト分類器が適用されるコーパスに似た) データを生成できないリスクが高く、一般化不可能な分類に繋がる。 本稿では,これら2つのアプローチの利点を組み合わせて,マイノリティクラスにおけるクリーンでほぼ分布の弱い監督者獲得を目的とした,新しいフレームワークである 'emph{text grafting} を通じてギャップを埋めることを提案する。 具体的には、まずLLMベースのロジットを用いて、ターゲットとするマイノリティクラスへのデータ合成の可能性が高い生コーパスからマスク付きテンプレートをマイニングする。 次に、テンプレートは最先端のLCMで満たされ、マイノリティクラスに該当する近分布テキストを合成する。 テキストグラフトは、マイノリティクラスでの直接採掘や合成よりも大幅に改善されている。 また,テキストグラフトの性質を理解するために解析とケーススタディを用いた。

関連論文リスト

• Text Clustering as Classification with LLMs [6.030435811868953]
  本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。 そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。 我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Generative Text Steganography with Large Language Model [10.572149957139736]
  LLM-Stegaと呼ばれる大規模言語モデルのユーザインタフェースに基づくブラックボックス生成テキストステガノグラフィー手法。 まず、キーワードセットを構築し、秘密メッセージを埋め込むための新しい暗号化されたステガノグラフマッピングを設計する。 総合的な実験により、LLM-Stegaは現在の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-16T02:19:28Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• On Bilingual Lexicon Induction with Large Language Models [81.6546357879259]
  本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。 本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。 私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
  論文  参考訳（メタデータ） (2023-10-21T12:43:27Z)
• Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
  我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。 本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。 予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
  論文  参考訳（メタデータ） (2023-04-24T07:35:38Z)
• Beyond prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations [24.3378487252621]
  事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。 提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-29T16:01:51Z)
• LIME: Weakly-Supervised Text Classification Without Seeds [1.2691047660244335]
  弱教師付きテキスト分類では、ラベル名のみが監督の源として機能する。 弱教師付きテキスト分類のためのフレームワーク LIME を提案する。 弱教師付き分類とテキスト・エンターメントを組み合わせることで、両者の欠点を軽減できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T04:28:28Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。