論文の概要: LLM-Guided Co-Training for Text Classification

• arxiv url: http://arxiv.org/abs/2509.16516v2
• Date: Tue, 23 Sep 2025 02:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 11:50:03.918593
• Title: LLM-Guided Co-Training for Text Classification
• Title（参考訳）: テキスト分類のためのLCM-Guided Co-Training
• Authors: Md Mezbaur Rahman, Cornelia Caragea,
• Abstract要約: 本稿では,Large Language Models (LLMs) による新たな重み付き協調学習手法を提案する。 ラベルのないデータにLLMラベルをターゲットラベルとして使用し、複数のイテレーションで相互にトレーニングする2つのエンコーダのみベースのネットワークをコトレーニングします。 LLMによるガイダンスを戦略的に活用することにより,従来のSSL手法よりも大幅に性能が向上する。
• 参考スコア（独自算出の注目度）: 51.59706902936793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a novel weighted co-training approach that is guided by Large Language Models (LLMs). Namely, in our co-training approach, we use LLM labels on unlabeled data as target labels and co-train two encoder-only based networks that train each other over multiple iterations: first, all samples are forwarded through each network and historical estimates of each network's confidence in the LLM label are recorded; second, a dynamic importance weight is derived for each sample according to each network's belief in the quality of the LLM label for that sample; finally, the two networks exchange importance weights with each other -- each network back-propagates all samples weighted with the importance weights coming from its peer network and updates its own parameters. By strategically utilizing LLM-generated guidance, our approach significantly outperforms conventional SSL methods, particularly in settings with abundant unlabeled data. Empirical results show that it achieves state-of-the-art performance on 4 out of 5 benchmark datasets and ranks first among 14 compared methods according to the Friedman test. Our results highlight a new direction in semi-supervised learning -- where LLMs serve as knowledge amplifiers, enabling backbone co-training models to achieve state-of-the-art performance efficiently.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) によってガイドされる,新しい重み付き協調学習手法を提案する。 ひとつは、LLMラベルに対する各ネットワークの信頼度を各ネットワークに記録し、もうひとつは、LLMラベルの品質に対する各ネットワークの信念に基づいて、各サンプルに対して動的に重要な重みが導出され、最後に、2つのネットワークが互いに重要な重みを交換し、各ネットワークは、そのピアネットワークから来る重みが重み付けされたすべてのサンプルをバックプロパゲートし、独自のパラメータを更新する。 LLMによるガイダンスを戦略的に活用することにより,従来のSSL手法,特にラベルなしデータの多い環境では,その性能が著しく向上する。 実験の結果、Friedmanテストによると、5つのベンチマークデータセットのうち4つで最先端のパフォーマンスを達成し、14のメソッドの中で第1位であることがわかった。 LLMは知識増幅器として機能し、バックボーン協調学習モデルが最先端のパフォーマンスを効率的に達成することを可能にする。

関連論文リスト

• When Do LLMs Help With Node Classification? A Comprehensive Analysis [21.120619437937382]
  我々はLarge Language Models (LLMs) を用いたノード分類のための包括的でテストベッドを開発する。 10のホモ親和性データセット、4つのヘテロ親和性データセット、8つのLLMアルゴリズム、8つの古典的ベースライン、3つの学習パラダイムを含む。 その結果,(1) LLMに基づく手法は, 半教師付き環境では従来手法よりも優れているが, 教師付き環境では優位性が低い, という8つの知見が得られた。
  論文  参考訳（メタデータ） (2025-02-02T15:56:05Z)
• LLMEmbed: Rethinking Lightweight LLM's Genuine Function in Text Classification [13.319594321038926]
  本稿では,この古典的だが挑戦的な課題に対処するために,LLMEmbedという,シンプルで効果的なトランスファー学習戦略を提案する。 その結果,LLMEmbedはトレーニングのオーバーヘッドを低く抑えながら,高い性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2024-06-06T03:46:59Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
  1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。 本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。 提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
  論文  参考訳（メタデータ） (2023-01-07T01:35:25Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。