論文の概要: Performance Evaluation of Emotion Classification in Japanese Using RoBERTa and DeBERTa

• arxiv url: http://arxiv.org/abs/2505.00013v1
• Date: Tue, 22 Apr 2025 07:51:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.089754
• Title: Performance Evaluation of Emotion Classification in Japanese Using RoBERTa and DeBERTa
• Title（参考訳）: RoBERTaとDeBERTaを用いた日本語感情分類の性能評価
• Authors: Yoichi Takenaka,
• Abstract要約: ソーシャルメディアモニタリングと顧客フィードバック分析は、日本語テキストの正確な感情検出を必要とする。 本研究は,日本語文中の8つのプリュッチク感情の有無を予測するための高精度モデルを構築することを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background Practical applications such as social media monitoring and customer-feedback analysis require accurate emotion detection for Japanese text, yet resource scarcity and class imbalance hinder model performance. Objective This study aims to build a high-accuracy model for predicting the presence or absence of eight Plutchik emotions in Japanese sentences. Methods Using the WRIME corpus, we transform reader-averaged intensity scores into binary labels and fine-tune four pre-trained language models (BERT, RoBERTa, DeBERTa-v3-base, DeBERTa-v3-large). For context, we also assess two large language models (TinySwallow-1.5B-Instruct and ChatGPT-4o). Accuracy and F1-score serve as evaluation metrics. Results DeBERTa-v3-large attains the best mean accuracy (0.860) and F1-score (0.662), outperforming all other models. It maintains robust F1 across both high-frequency emotions (e.g., Joy, Anticipation) and low-frequency emotions (e.g., Anger, Trust). The LLMs lag, with ChatGPT-4o and TinySwallow-1.5B-Instruct scoring 0.527 and 0.292 in mean F1, respectively. Conclusion The fine-tuned DeBERTa-v3-large model currently offers the most reliable solution for binary emotion classification in Japanese. We release this model as a pip-installable package (pip install deberta-emotion-predictor). Future work should augment data for rare emotions, reduce model size, and explore prompt engineering to improve LLM performance. This manuscript is under review for possible publication in New Generation Computing.
• Abstract（参考訳）: 背景 ソーシャルメディアモニタリングや顧客フィードバック分析などの実践的応用は、日本語テキストの正確な感情検出を必要とするが、資源不足とクラス不均衡はモデル性能を損なう。 本研究の目的は,日本語文中の8つのプリュッチク感情の有無を予測するための高精度モデルを構築することである。 WRIMEコーパスを用いて、平均強度スコアをバイナリラベルに変換し、事前訓練された4つの言語モデル(BERT、RoBERTa、DeBERTa-v3-base、DeBERTa-v3-large)を微調整する。 また,2つの大きな言語モデル(TinySwallow-1.5B-Instruct と ChatGPT-4o)を評価する。 精度とF1スコアは評価指標として機能する。 結果 DeBERTa-v3-large は最高の平均精度 (0.860) と F1-score (0.662) を獲得し、他の全てのモデルより優れている。 高頻度感情(例えば、Joy、Precipation)と低頻度感情(例えば、Anger、Trust)にまたがる堅牢なF1を維持している。 LLMは,ChatGPT-4oとTinySwallow-1.5B-Instructでそれぞれ0.527点,0.292点であった。 結論 DeBERTa-v3-largeモデルは現在、日本語の2進感情分類において最も信頼性の高いソリューションを提供している。 このモデルをpip- installable package(pip install deberta-emotion-predictor)としてリリースします。 今後は、まれな感情のデータを増強し、モデルのサイズを減らし、LLMのパフォーマンスを改善するためにプロンプトエンジニアリングを探求する必要がある。 この原稿はニュージェネレーション・コンピューティング(英語版)で出版される可能性がある。

関連論文リスト

• RideKE: Leveraging Low-Resource, User-Generated Twitter Content for Sentiment and Emotion Detection in Kenyan Code-Switched Dataset [4.142287865325998]
  我々は、ケニアのコード変更データを分析し、感情分類と感情分類のための4つの最先端トランスフォーマー(SOTA)モデルを評価する。 感情分析では、XLM-Rは最高精度(69.2%)、F1スコア(66.1%)、XLM-R半教師(67.2%、64.1%)を達成する。 感情分析では、DistilBERTは精度59.8%、F1は31%、mBERTは半監督的(精度59%、F1は26.5)である。
  論文  参考訳（メタデータ） (2025-02-10T06:18:07Z)
• Xmodel-1.5: An 1B-scale Multilingual LLM [4.298869484709548]
  2兆のトークンで事前訓練された多言語大言語モデルであるXmodel-1.5を紹介する。 Xmodel-1.5は65,280個のトークンを持つカスタムユニグラムトークンライザを採用し、効率と精度の両方を最適化している。 このモデルは、タイ語、アラビア語、フランス語、中国語、英語など、複数の言語で競合する結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-15T10:01:52Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
  本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。 そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-11-18T06:48:00Z)
• Towards Efficient NLP: A Standard Evaluation and A Strong Baseline [55.29756535335831]
  本研究は, ELUE (Efficient Language Understanding Evaluation) と標準評価, 効率的なNLPモデルのための公開リーダボードを提案する。 ベンチマークとともに、強いベースラインであるElasticBERTの事前トレーニングとリリースも行います。
  論文  参考訳（メタデータ） (2021-10-13T21:17:15Z)
• HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition [0.30458514384586394]
  HeBERTは現代ヘブライ語テキストのトランスフォーマーベースのモデルである。 HebEMOはHeBERTを使って極性を検出し、Hebrewのユーザ生成コンテンツから感情を抽出するツールだ。
  論文  参考訳（メタデータ） (2021-02-03T06:59:59Z)
• Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection [7.29381091750894]
  偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。 まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。 最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
  論文  参考訳（メタデータ） (2021-01-14T09:05:42Z)
• Pronoun-Targeted Fine-tuning for NMT with Hybrid Losses [6.596002578395152]
  我々は,訓練された機械翻訳モデルの微調整に使用する条件付き生成-識別ハイブリッド損失のクラスを導入する。 我々は、追加データを用いることなく、文レベルと文脈モデルの両方のモデル性能を改善する。 文レベルモデルではWMT14とIWSLT13の両テストセットで0.5BLEUの改善が見られた。 我々の文脈モデルは WMT14 De-En テストセットにおいて 31.81 から 32 BLEU に改善され、IWSLT13 De-En では 32.10 から 33.13 に改善された。
  論文  参考訳（メタデータ） (2020-10-15T10:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。