論文の概要: Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification

• arxiv url: http://arxiv.org/abs/2312.06522v2
• Date: Fri, 23 Feb 2024 02:36:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 17:38:03.211237
• Title: Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
• Title（参考訳）: テキスト感情分類におけるラベル平滑化の役割の再検討
• Authors: Yijie Gao, Shijing Si, Hua Luo, Haixia Sun, Yugui Zhang
• Abstract要約: 本稿では,テキスト感情分類のための8つのデータセットと3つのディープラーニングアーキテクチャについて,詳細な分析を行う。 スムーズなパラメータをチューニングすることで、各モデルアーキテクチャのほぼすべてのデータセットのパフォーマンスを向上させることができます。
• 参考スコア（独自算出の注目度）: 5.303672642989157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label smoothing is a widely used technique in various domains, such as text classification, image classification and speech recognition, known for effectively combating model overfitting. However, there is little fine-grained analysis on how label smoothing enhances text sentiment classification. To fill in the gap, this article performs a set of in-depth analyses on eight datasets for text sentiment classification and three deep learning architectures: TextCNN, BERT, and RoBERTa, under two learning schemes: training from scratch and fine-tuning. By tuning the smoothing parameters, we can achieve improved performance on almost all datasets for each model architecture. We further investigate the benefits of label smoothing, finding that label smoothing can accelerate the convergence of deep models and make samples of different labels easily distinguishable.
• Abstract（参考訳）: ラベルスムーシングは、テキスト分類、画像分類、音声認識など、様々な領域で広く使われている技法であり、モデルオーバーフィッティングと効果的に戦うことで知られている。 しかし、ラベルの平滑化がテキストの感情分類をいかに強化するかについて、詳細な分析はほとんどない。 このギャップを埋めるために、本論文では、テキスト感情分類のための8つのデータセットと、テキストCNN、BERT、RoBERTaの3つのディープラーニングアーキテクチャについて、スクラッチからのトレーニングと微調整の2つの学習スキームに基づいて、詳細な分析を行う。 平滑化パラメータをチューニングすることで、各モデルアーキテクチャのほぼすべてのデータセットのパフォーマンスが向上する。 さらに,ラベル平滑化の利点について検討し,ラベル平滑化が深層モデルの収束を加速し,異なるラベルのサンプルを容易に識別できるようにする。

関連論文リスト

• Improving Time Series Classification with Representation Soft Label Smoothing [3.3470010424473036]
  これまでの研究では、時系列分類(TSC)タスクのためのディープニューラルネットワークベースのモデルが過度に適合する傾向があることが示されている。 本稿では,より信頼性の高いソフトラベルを生成するための新しい手法を提案する。 本手法は, 構造や複雑さの異なるモデルに対して, 強靭な性能を示す。
  論文  参考訳（メタデータ） (2024-08-30T04:50:27Z)
• Scribbles for All: Benchmarking Scribble Supervised Segmentation Across Datasets [51.74296438621836]
  Scribbles for Allは、スクリブルラベルに基づいて訓練されたセマンティックセグメンテーションのためのラベルおよびトレーニングデータ生成アルゴリズムである。 弱い監督の源泉としてのスクリブルの主な制限は、スクリブルセグメンテーションのための挑戦的なデータセットの欠如である。 Scribbles for Allは、いくつかの人気のあるセグメンテーションデータセットのスクリブルラベルを提供し、密集したアノテーションを持つデータセットのスクリブルラベルを自動的に生成するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-08-22T15:29:08Z)
• Posterior Label Smoothing for Node Classification [2.737276507021477]
  本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。 本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。 以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T11:59:49Z)
• TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training [29.431698321195814]
  Contrastive Language-Image Pre-Training (CLIP) はオープン語彙分類において顕著な能力を示した。 CLIPは、グローバル機能が最も顕著なクラスに支配される傾向があるため、マルチラベルデータセットのパフォーマンスが低い。 画像タグを得るための局所言語フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:15:40Z)
• Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
  テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。 LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
  論文  参考訳（メタデータ） (2022-04-14T17:33:34Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• Co-Seg: An Image Segmentation Framework Against Label Corruption [8.219887855003648]
  改良されたディープラーニングのパフォーマンスは、トレーニングのための高品質なラベルの可用性に強く結びついている。 我々は,低品質なノイズラベルを含むデータセット上でセグメンテーションネットワークを協調的に学習する新しいフレームワーク,Co-Segを提案する。 我々のフレームワークはどんなセグメンテーションアルゴリズムでも容易に実装でき、ノイズの多いラベルへのロバスト性を高めることができる。
  論文  参考訳（メタデータ） (2021-01-31T20:01:40Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• Unsupervised Label Refinement Improves Dataless Text Classification [48.031421660674745]
  データレステキスト分類は、ラベル記述と組み合わせた文書にスコアを割り当てることで、文書を未確認のラベルに分類することができる。 有望ながら、それは重要なダウンストリームタスクごとにラベルセットの正確な説明に依存します。 この依存により、データレス分類器はラベル記述の選択に非常に敏感になり、実際にはデータレス分類の幅広い適用を妨げる。
  論文  参考訳（メタデータ） (2020-12-08T03:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。