論文の概要: Enchancing Semi-Supervised Learning for Extractive Summarization with an LLM-based pseudolabeler

• arxiv url: http://arxiv.org/abs/2311.09559v1
• Date: Thu, 16 Nov 2023 04:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 16:53:18.207934
• Title: Enchancing Semi-Supervised Learning for Extractive Summarization with an LLM-based pseudolabeler
• Title（参考訳）: llmを用いた半教師付き学習による抽出要約
• Authors: Gaurav Sahu, Olga Vechtomova, Issam H. Laradji
• Abstract要約: 本研究は,半教師付きアプローチを用いて,限定ラベル付きデータシナリオにおける抽出テキスト要約の課題に取り組む。 GPT-4を用いたプロンプトベースの擬似ラベル選択手法を提案する。 本手法は、Tweetm、WikiHow、ArXiv/Sumの3つのテキスト要約データセット上で評価する。
• 参考スコア（独自算出の注目度）: 14.141777581505682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work tackles the task of extractive text summarization in a limited labeled data scenario using a semi-supervised approach. Specifically, we propose a prompt-based pseudolabel selection strategy using GPT-4. We evaluate our method on three text summarization datasets: TweetSumm, WikiHow, and ArXiv/PubMed. Our experiments show that by using an LLM to evaluate and generate pseudolabels, we can improve the ROUGE-1 by 10-20\% on the different datasets, which is akin to enhancing pretrained models. We also show that such a method needs a smaller pool of unlabeled examples to perform better.
• Abstract（参考訳）: 本研究は,半教師付きアプローチを用いて,限定ラベル付きデータシナリオにおける抽出テキスト要約の課題に取り組む。 具体的には,gpt-4を用いたプロンプトに基づく擬似ラベル選択戦略を提案する。 本手法は、TweetSumm、WikiHow、ArXiv/PubMedの3つのテキスト要約データセット上で評価する。 実験の結果,LLMを用いて擬似ラベルを評価・生成することにより,事前学習モデルの拡張に類似した,異なるデータセット上でROUGE-1を10～20 %改善できることがわかった。 また,このような手法ではラベルなしのサンプルのプールが小さくなり,性能が向上することを示す。

関連論文リスト

• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for Semi-Supervised Text Recognition [21.583569162994277]
  最も一般的なSSLアプローチの1つは擬似ラベル(PL)である。 PL法はノイズによって著しく劣化し、ノイズの多いラベルに過度に適合する傾向がある。 テキスト認識のための擬似ラベル生成と不確実性に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-31T02:21:02Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization [88.74813798138466]
  オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。 キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。 本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
  論文  参考訳（メタデータ） (2022-01-21T09:51:58Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• LiDAM: Semi-Supervised Learning with Localized Domain Adaptation and Iterative Matching [19.606592939074737]
  LiDAMは、ドメイン適応とセルフペース学習の両方に根ざした、半教師付き学習アプローチである。 CIFAR-100データセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T19:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。