論文の概要: Optimizing Small Transformer-Based Language Models for Multi-Label Sentiment Analysis in Short Texts

• arxiv url: http://arxiv.org/abs/2509.04982v1
• Date: Fri, 05 Sep 2025 10:08:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.561824
• Title: Optimizing Small Transformer-Based Language Models for Multi-Label Sentiment Analysis in Short Texts
• Title（参考訳）: 短文におけるマルチラベル感性分析のための小変換器に基づく言語モデル最適化
• Authors: Julius Neumann, Robert Lange, Yuni Susanti, Michael Färber,
• Abstract要約: 短文の感情分類における小さなトランスフォーマーモデルの有効性を評価する。 データを拡張することで分類性能が向上するのに対し、拡張データセットの事前トレーニングは精度を向上するよりもノイズを発生させる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 4.166512373146747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment classification in short text datasets faces significant challenges such as class imbalance, limited training samples, and the inherent subjectivity of sentiment labels -- issues that are further intensified by the limited context in short texts. These factors make it difficult to resolve ambiguity and exacerbate data sparsity, hindering effective learning. In this paper, we evaluate the effectiveness of small Transformer-based models (i.e., BERT and RoBERTa, with fewer than 1 billion parameters) for multi-label sentiment classification, with a particular focus on short-text settings. Specifically, we evaluated three key factors influencing model performance: (1) continued domain-specific pre-training, (2) data augmentation using automatically generated examples, specifically generative data augmentation, and (3) architectural variations of the classification head. Our experiment results show that data augmentation improves classification performance, while continued pre-training on augmented datasets can introduce noise rather than boost accuracy. Furthermore, we confirm that modifications to the classification head yield only marginal benefits. These findings provide practical guidance for optimizing BERT-based models in resource-constrained settings and refining strategies for sentiment classification in short-text datasets.
• Abstract（参考訳）: 短いテキストデータセットの知覚分類は、クラス不均衡、限られたトレーニングサンプル、感情ラベル固有の主観性といった重要な課題に直面します。 これらの要因は曖昧さを解消し、データの分散を悪化させることを難しくし、効果的な学習を妨げる。 本稿では,マルチラベル感情分類における小型トランスフォーマーモデル(BERTとRoBERTa)の有効性を,特に短文設定に焦点をあてて評価する。 具体的には,(1)ドメイン固有の事前学習の継続,(2)自動生成例を用いたデータ拡張,特に生成データ増強,(3)分類ヘッドのアーキテクチャ的バリエーションの3つの要因をモデル性能に影響を及ぼす要因について検討した。 実験の結果,データ拡張により分類性能が向上する一方,拡張データセットの事前学習は精度の向上よりもノイズの導入が期待できることがわかった。 さらに,分類ヘッドの変更は限界利得しか得られないことを確認した。 これらの知見は,資源制約設定におけるBERTモデル最適化のための実践的ガイダンスと,短文データセットにおける感情分類のための修正戦略を提供する。

関連論文リスト

• Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies [6.78820305740543]
  本稿では,適応的な微調整,コントラスト学習,正規化最適化を組み合わせ,トランスフォーマーに基づくモデルの分類性能を向上させる戦略を提案する。 FewRel 2.0データセットの実験によると、T5-small、DeBERTa-v3、RoBERTa-baseは、数ショットタスクでうまく機能している。
  論文  参考訳（メタデータ） (2025-05-09T15:54:08Z)
• Batch Aggregation: An Approach to Enhance Text Classification with Correlated Augmented Data [0.0]
  バッチアグリゲーション(BAGG)と呼ばれる新しいアプローチを提案する。 BAGGは、拡張によって生成されたテキスト入力の依存を、相関したテキストの結果を集約する追加レイヤを組み込むことで、明示的にモデル化する。 BAGGによる性能向上は、ドメイン固有のデータセットではより明らかであり、精度は最大10～29%向上した。
  論文  参考訳（メタデータ） (2025-04-07T12:46:07Z)
• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Text generation for dataset augmentation in security classification tasks [55.70844429868403]
  本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。 我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
  論文  参考訳（メタデータ） (2023-10-22T22:25:14Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。