Fugu-MT 論文翻訳(概要): STF: Sentence Transformer Fine-Tuning For Topic Categorization With Limited Data

論文の概要: STF: Sentence Transformer Fine-Tuning For Topic Categorization With Limited Data

arxiv url: http://arxiv.org/abs/2407.03253v1
Date: Wed, 3 Jul 2024 16:34:56 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 13:17:22.553234
Title: STF: Sentence Transformer Fine-Tuning For Topic Categorization With Limited Data
Title（参考訳）: STF: 限定データによるトピック分類のための文変換器ファインチューニング
Authors: Kheir Eddine Daouadi, Yaakoub Boualleg, Oussama Guehairia,
Abstract要約: Sentence Transformers Fine-tuning (STF) は、事前訓練されたSentence Transformersモデルと微調整を利用して、ツイートからトピックを正確に分類するトピック検出システムである。我々の主な貢献は、事前訓練された文変換言語モデルを適用することで、ツイートトピック分類における有望な結果の達成である。
参考スコア（独自算出の注目度）: 0.27309692684728604
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Nowadays, topic classification from tweets attracts considerable research attention. Different classification systems have been suggested thanks to these research efforts. Nevertheless, they face major challenges owing to low performance metrics due to the limited amount of labeled data. We propose Sentence Transformers Fine-tuning (STF), a topic detection system that leverages pretrained Sentence Transformers models and fine-tuning to classify topics from tweets accurately. Moreover, extensive parameter sensitivity analyses were conducted to finetune STF parameters for our topic classification task to achieve the best performance results. Experiments on two benchmark datasets demonstrated that (1) the proposed STF can be effectively used for classifying tweet topics and outperforms the latest state-of-the-art approaches, and (2) the proposed STF does not require a huge amount of labeled tweets to achieve good accuracy, which is a limitation of many state-of-the-art approaches. Our main contribution is the achievement of promising results in tweet topic classification by applying pretrained sentence transformers language models.
Abstract（参考訳）: 今日では、ツイートからトピックを分類する研究が注目されている。これらの研究により、異なる分類体系が提案されている。それでも、ラベル付きデータの量が少ないため、パフォーマンスの指標が低いため、大きな課題に直面しています。本研究では,事前学習したセンテンス変換器モデルを利用したトピック検出システムであるSentence Transformers Fine-tuning (STF)を提案する。さらに, トピック分類タスクのSTFパラメータを微調整し, 最適な性能を実現するために, パラメータ感度分析を行った。 2つのベンチマークデータセットの実験により,(1)提案したSTFは,ツイートトピックを効果的に分類し,最新の最先端のアプローチより優れていること,(2)提案したSTFは大量のラベル付きツイートを必要とせず,精度が向上することを示した。我々の主な貢献は、事前訓練された文変換言語モデルを適用することで、ツイートトピック分類における有望な結果の達成である。

関連論文リスト

MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
論文参考訳（メタデータ） (2024-04-12T13:02:08Z)
BERT Goes Off-Topic: Investigating the Domain Transfer Challenge using Genre Classification [0.27195102129095]
トピックの分布が変化すると、分類タスクは依然としてパフォーマンスのギャップに悩まされる。我々はこの現象を、大きなコーパスと大きなトピックセットで実証的に定量化する。学習データセットを局所的に制御された合成テキストで強化した後、いくつかのトピックでF1スコアは最大50%改善する。
論文参考訳（メタデータ） (2023-11-27T18:53:31Z)
MisRoB{\AE}RTa: Transformers versus Misinformation [0.6091702876917281]
本稿では,誤情報検出のためのトランスフォーマーに基づくニューラルアンサンブルアーキテクチャを提案する。 MisRobaerTaは、分類性能を改善するために、2つのトランスフォーマー(BARTとRoBERTa)を利用する。トレーニングとテストのために、私たちは10のクラスでラベル付けされた大規模な現実世界のニュース記事データセットを使用しました。
論文参考訳（メタデータ） (2023-04-16T12:14:38Z)
Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文参考訳（メタデータ） (2023-04-04T16:14:39Z)
Transformers are Short Text Classifiers: A Study of Inductive Short Text Classifiers on Benchmarks and Real-world Datasets [2.9443230571766854]
短いテキスト分類は自然言語処理において重要かつ困難な側面である。最近の短いテキスト研究において、従来のテキスト分類のためのステート・オブ・ザ・アート(SOTA)手法は明らかにされていない。我々の実験は、短いテキスト分類タスクにおいて、トランスフォーマーがSOTA精度を達成することを明らかに示している。
論文参考訳（メタデータ） (2022-11-30T10:25:24Z)
Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文参考訳（メタデータ） (2022-05-02T21:41:14Z)
Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文参考訳（メタデータ） (2021-11-17T12:10:03Z)
Task Adaptive Pretraining of Transformers for Hostility Detection [11.306581296760864]
a)ヒンディー語のツイートの粗い二分分類を敵対的か否か、b)ツイートのきめ細かい多重ラベル分類を4つのカテゴリ(ヘイト、フェイク、アグレッシブ、デマネーション)に分類する。本システムでは, 粗粒度検出のF1スコアが97.16%, 重み付きF1スコアが62.96%, 得られたブラインドテストコーパスの細粒度多ラベル分類のF1スコアが62.96%であった。
論文参考訳（メタデータ） (2021-01-09T15:45:26Z)
Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文参考訳（メタデータ） (2020-10-13T15:20:32Z)
Rank over Class: The Untapped Potential of Ranking in Natural Language Processing [8.637110868126546]
我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
論文参考訳（メタデータ） (2020-09-10T22:18:57Z)
The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
論文参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。