論文の概要: Improving Arabic Multi-Label Emotion Classification using Stacked Embeddings and Hybrid Loss Function

• arxiv url: http://arxiv.org/abs/2410.03979v3
• Date: Thu, 14 Nov 2024 14:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:23:02.641295
• Title: Improving Arabic Multi-Label Emotion Classification using Stacked Embeddings and Hybrid Loss Function
• Title（参考訳）: 積層埋め込みとハイブリッド損失関数を用いたアラビアマルチラベル感情分類の改善
• Authors: Muhammad Azeem Aslam, Wang Jun, Nisar Ahmed, Muhammad Imran Zaman, Li Yanan, Hu Hongfei, Wang Shiyu, Xin Liu,
• Abstract要約: 本研究は、アラビア語における多言語感情分類を強化するために、積層埋め込み、メタラーニング、ハイブリッド損失関数を用いている。 さらに性能向上のために,クラス重み付け,ラベル相関,コントラスト学習を取り入れたハイブリッド損失関数を導入した。 実験では、Precision、Recall、F1-Score、Jaccard Accuracy、Hamming Lossといった主要なメトリクスで提案されたモデルのパフォーマンスを検証する。
• 参考スコア（独自算出の注目度）: 4.149971421068989
• License:
• Abstract: In multi-label emotion classification, particularly for low-resource languages like Arabic, the challenges of class imbalance and label correlation hinder model performance, especially in accurately predicting minority emotions. To address these issues, this study proposes a novel approach that combines stacked embeddings, meta-learning, and a hybrid loss function to enhance multi-label emotion classification for the Arabic language. The study extracts contextual embeddings from three fine-tuned language models-ArabicBERT, MarBERT, and AraBERT-which are then stacked to form enriched embeddings. A meta-learner is trained on these stacked embeddings, and the resulting concatenated representations are provided as input to a Bi-LSTM model, followed by a fully connected neural network for multi-label classification. To further improve performance, a hybrid loss function is introduced, incorporating class weighting, label correlation matrix, and contrastive learning, effectively addressing class imbalances and improving the handling of label correlations. Extensive experiments validate the proposed model's performance across key metrics such as Precision, Recall, F1-Score, Jaccard Accuracy, and Hamming Loss. The class-wise performance analysis demonstrates the hybrid loss function's ability to significantly reduce disparities between majority and minority classes, resulting in a more balanced emotion classification. An ablation study highlights the contribution of each component, showing the superiority of the model compared to baseline approaches and other loss functions. This study not only advances multi-label emotion classification for Arabic but also presents a generalizable framework that can be adapted to other languages and domains, providing a significant step forward in addressing the challenges of low-resource emotion classification tasks.
• Abstract（参考訳）: マルチラベル感情分類、特にアラビア語のような低リソース言語では、クラス不均衡とラベル相関の課題はモデル性能、特にマイノリティ感情の正確な予測を妨げている。 これらの課題に対処するために,アラビア語におけるマルチラベル感情分類を強化するために,積み重ね埋め込み,メタラーニング,ハイブリッド損失関数を組み合わせた新しいアプローチを提案する。 この研究は、アラビアバーティ、マルベルティ、アラバーティの3つの微調整された言語モデルからコンテキスト埋め込みを抽出し、それを積み重ねてリッチな埋め込みを形成する。 メタラーナーは、これらの積み重ね埋め込みに基づいて訓練され、結果として得られる連結表現は、Bi-LSTMモデルへの入力として提供され、次いで、マルチラベル分類のための完全に接続されたニューラルネットワークが提供される。 さらに性能向上のために、クラス重み付け、ラベル相関行列、コントラスト学習を取り入れたハイブリッド損失関数を導入し、クラス不均衡を効果的に解決し、ラベル相関の処理を改善する。 大規模な実験では、Precision、Recall、F1-Score、Jaccard Accuracy、Hamming Lossといった主要なメトリクスで提案されたモデルのパフォーマンスを検証する。 クラスワイドのパフォーマンス分析は、ハイブリッド損失関数が多数派と少数派の間の格差を著しく減らし、よりバランスの取れた感情分類をもたらすことを示した。 アブレーション研究では、各コンポーネントの寄与を強調し、ベースラインアプローチや他の損失関数と比較してモデルの優位性を示す。 本研究は、アラビア語のマルチラベル感情分類を前進させるだけでなく、他の言語やドメインに適応可能な一般化可能なフレームワークも提示し、低リソース感情分類タスクの課題に対処する上で大きな一歩となる。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• Deep Imbalanced Learning for Multimodal Emotion Recognition in Conversations [15.705757672984662]
  会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。 MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。 生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。 我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
  論文  参考訳（メタデータ） (2023-12-11T12:35:17Z)
• PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification [64.39761523935613]
  トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。 近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
  論文  参考訳（メタデータ） (2022-08-30T01:27:48Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification [0.0]
  2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-12T04:19:17Z)
• Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models [4.189643331553922]
  半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。 我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
  論文  参考訳（メタデータ） (2021-05-22T05:55:16Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。