論文の概要: Text Grafting: Near-Distribution Weak Supervision for Minority Classes in Text Classification

• arxiv url: http://arxiv.org/abs/2406.11115v1
• Date: Mon, 17 Jun 2024 00:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:53:41.105780
• Title: Text Grafting: Near-Distribution Weak Supervision for Minority Classes in Text Classification
• Title（参考訳）: テキストグラフト:テキスト分類におけるマイノリティクラスのための近分布弱スーパービジョン
• Authors: Letian Peng, Yi Gu, Chengyu Dong, Zihan Wang, Jingbo Shang,
• Abstract要約: テキストグラフトは、マイノリティクラスでの直接採掘や合成よりも大幅に改善されている。 まず LLM ベースのロジットを用いて生コーパスからマスク付きテンプレートをマイニングする。 次に、テンプレートは最先端のLCMで満たされ、マイノリティクラスに該当する近分布テキストを合成する。
• 参考スコア（独自算出の注目度）: 43.96555554100483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For extremely weak-supervised text classification, pioneer research generates pseudo labels by mining texts similar to the class names from the raw corpus, which may end up with very limited or even no samples for the minority classes. Recent works have started to generate the relevant texts by prompting LLMs using the class names or definitions; however, there is a high risk that LLMs cannot generate in-distribution (i.e., similar to the corpus where the text classifier will be applied) data, leading to ungeneralizable classifiers. In this paper, we combine the advantages of these two approaches and propose to bridge the gap via a novel framework, \emph{text grafting}, which aims to obtain clean and near-distribution weak supervision for minority classes. Specifically, we first use LLM-based logits to mine masked templates from the raw corpus, which have a high potential for data synthesis into the target minority class. Then, the templates are filled by state-of-the-art LLMs to synthesize near-distribution texts falling into minority classes. Text grafting shows significant improvement over direct mining or synthesis on minority classes. We also use analysis and case studies to comprehend the property of text grafting.
• Abstract（参考訳）: 極端に弱められたテキスト分類のために、先駆的な研究は、生のコーパスからクラス名に似たテキストをマイニングすることで擬似ラベルを生成する。 最近の研究は、クラス名や定義を使って LLM に関連テキストを生成し始めたが、LCM が in-distribution (すなわち、テキスト分類器が適用されるコーパスに似た) データを生成できないリスクが高く、一般化不可能な分類に繋がる。 本稿では,これら2つのアプローチの利点を組み合わせて,マイノリティクラスにおけるクリーンでほぼ分布の弱い監督者獲得を目的とした,新しいフレームワークである 'emph{text grafting} を通じてギャップを埋めることを提案する。 具体的には、まずLLMベースのロジットを用いて、ターゲットとするマイノリティクラスへのデータ合成の可能性が高い生コーパスからマスク付きテンプレートをマイニングする。 次に、テンプレートは最先端のLCMで満たされ、マイノリティクラスに該当する近分布テキストを合成する。 テキストグラフトは、マイノリティクラスでの直接採掘や合成よりも大幅に改善されている。 また,テキストグラフトの性質を理解するために解析とケーススタディを用いた。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Generative Text Steganography with Large Language Model [10.572149957139736]
  LLM-Stegaと呼ばれる大規模言語モデルのユーザインタフェースに基づくブラックボックス生成テキストステガノグラフィー手法。 まず、キーワードセットを構築し、秘密メッセージを埋め込むための新しい暗号化されたステガノグラフマッピングを設計する。 総合的な実験により、LLM-Stegaは現在の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-16T02:19:28Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
  我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。 本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。 予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
  論文  参考訳（メタデータ） (2023-04-24T07:35:38Z)
• Beyond prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations [24.3378487252621]
  事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。 提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-29T16:01:51Z)
• LIME: Weakly-Supervised Text Classification Without Seeds [1.2691047660244335]
  弱教師付きテキスト分類では、ラベル名のみが監督の源として機能する。 弱教師付きテキスト分類のためのフレームワーク LIME を提案する。 弱教師付き分類とテキスト・エンターメントを組み合わせることで、両者の欠点を軽減できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T04:28:28Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。