論文の概要: L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models

• arxiv url: http://arxiv.org/abs/2506.00863v1
• Date: Sun, 01 Jun 2025 07:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.705856
• Title: L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models
• Title（参考訳）: L3Cube-MahaEmotions:CoTRプロンプトと大規模言語モデルを用いた合成アノテーション付きマラソン感情認識データセット
• Authors: Nidhi Kowtal, Raviraj Joshi,
• Abstract要約: L3Cube-MahaEmotionsは,11個の微粒な感情ラベルを持つ高品質なマラーティ感情認識データセットである。 トレーニングデータは、大きな言語モデル(LLM)を使用して合成注釈付けされ、検証とテストセットは、信頼できるゴールドスタンダードベンチマークとして手動でラベル付けされる。
• 参考スコア（独自算出の注目度）: 0.552480439325792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion recognition in low-resource languages like Marathi remains challenging due to limited annotated data. We present L3Cube-MahaEmotions, a high-quality Marathi emotion recognition dataset with 11 fine-grained emotion labels. The training data is synthetically annotated using large language models (LLMs), while the validation and test sets are manually labeled to serve as a reliable gold-standard benchmark. Building on the MahaSent dataset, we apply the Chain-of-Translation (CoTR) prompting technique, where Marathi sentences are translated into English and emotion labeled via a single prompt. GPT-4 and Llama3-405B were evaluated, with GPT-4 selected for training data annotation due to superior label quality. We evaluate model performance using standard metrics and explore label aggregation strategies (e.g., Union, Intersection). While GPT-4 predictions outperform fine-tuned BERT models, BERT-based models trained on synthetic labels fail to surpass GPT-4. This highlights both the importance of high-quality human-labeled data and the inherent complexity of emotion recognition. An important finding of this work is that generic LLMs like GPT-4 and Llama3-405B generalize better than fine-tuned BERT for complex low-resource emotion recognition tasks. The dataset and model are shared publicly at https://github.com/l3cube-pune/MarathiNLP
• Abstract（参考訳）: Marathiのような低リソース言語での感情認識は、限られた注釈付きデータのために依然として困難である。 L3Cube-MahaEmotionsは,11個の微粒な感情ラベルを持つ高品質なマラーティ感情認識データセットである。 トレーニングデータは、大きな言語モデル(LLM)を使用して合成注釈付けされ、検証とテストセットは、信頼できるゴールドスタンダードベンチマークとして手動でラベル付けされる。 MahaSentデータセットをベースとしたChain-of-Translation(CoTR)プロンプト手法を適用し,マラシ語の文を英語に翻訳し,ひとつのプロンプトで感情をラベル付けする。 GPT-4とLlama3-405Bが評価され,GPT-4はラベル品質の優れたデータアノテーションとして選択された。 標準メトリクスを用いてモデル性能を評価し,ラベル集約戦略(例えば,Union,Intersection)を探索する。 GPT-4は細調整されたBERTモデルより優れているが、合成ラベルで訓練されたBERTベースのモデルはGPT-4を超えなかった。 これは、高品質な人間ラベル付きデータの重要性と、感情認識の固有の複雑さの両方を強調している。 この研究の重要な発見は、GPT-4 や Llama3-405B のようなジェネリック LLM が、複雑な低リソースの感情認識タスクにおいて、微細調整されたBERT よりも一般化されていることである。 データセットとモデルはhttps://github.com/l3cube-pune/MarathiNLPで公開されています。

関連論文リスト

• MELT: Towards Automated Multimodal Emotion Data Annotation by Leveraging LLM Embedded Knowledge [45.04480661233793]
  我々は,Sitecom Friends から収集したマルチモーダルデータセットに GPT-4o を適用した。 構造化テキストプロンプトを作成すれば,GPT-4oが学習中に蓄積した知識を活かすことができる。 4つの自己教師付き学習(SSL)バックボーンを微調整し,音声認識性能を評価することで,MELTの有効性を実証する。
  論文  参考訳（メタデータ） (2025-05-30T11:45:36Z)
• Emo Pillars: Knowledge Distillation to Support Fine-Grained Context-Aware and Context-Less Emotion Classification [56.974545305472304]
  感情分析のためのほとんどのデータセットは、意見が表現された文脈を欠き、感情理解に不可欠であり、主にいくつかの感情カテゴリーによって制限される。 我々はLLMベースのデータ合成パイプラインを設計し、よりアクセスしやすい軽量BERT型エンコーダモデルのトレーニング例を生成するために、大規模モデルMistral-7bを利用する。 Emo Pillarsモデルは、GoEmotions、ISEAR、IEMOCAP、EmoContextといった特定のタスクに調整された場合、新しいドメインに対して高い適応性を示し、最初の3つでSOTAのパフォーマンスに達した。
  論文  参考訳（メタデータ） (2025-04-23T16:23:17Z)
• QUAD-LLM-MLTC: Large Language Models Ensemble Learning for Healthcare Text Multi-Label Classification [4.8342038441006805]
  収集された医療用テキストデータのエスカレート量は、テキスト分類を自動化する上でユニークな課題である。 従来の機械学習モデルは、表現されたトピックの配列を完全にキャプチャできないことが多い。 大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクにおいて顕著な効果を示した。
  論文  参考訳（メタデータ） (2025-02-20T01:46:12Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Sim-GPT: Text Similarity via GPT Annotated Data [43.00208572114256]
  GPTアノテートデータ(Sim-GPT)を用いたテキスト類似度測定手法を提案する。 Sim-GPTは、BERTまたはRoBERTaをバックボーンとして、一度に生成されたデータセットでトレーニングされる。 Sim-GPTは、広く使用されているSTSの7つのベンチマークでSOTAのパフォーマンスを得る:+0.99 over supervised-SimCSE、+0.42 over the current SOTA PromCSEモデルである。
  論文  参考訳（メタデータ） (2023-12-09T16:10:23Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [52.14681890859275]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• LanSER: Language-Model Supported Speech Emotion Recognition [25.597250907836152]
  本稿では,学習済みの大規模言語モデルを用いて弱い感情ラベルを推定することにより,ラベルなしデータの利用を可能にするLanSERを提案する。 分類学に制約された弱いラベルを推定するために、自動音声認識により抽出された音声の書き起こしに対して、最も深いスコアを持つ感情ラベルを選択するテキスト・エンタテインメント・アプローチを用いる。 実験結果から, 従来のSERデータセットのベースラインモデルでは, 精度が向上し, ラベル効率が向上した。
  論文  参考訳（メタデータ） (2023-09-07T19:21:08Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。