論文の概要: UoB-NLP at SemEval-2025 Task 11: Leveraging Adapters for Multilingual and Cross-Lingual Emotion Detection

• arxiv url: http://arxiv.org/abs/2504.08543v1
• Date: Fri, 11 Apr 2025 13:56:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:19:14.910700
• Title: UoB-NLP at SemEval-2025 Task 11: Leveraging Adapters for Multilingual and Cross-Lingual Emotion Detection
• Title（参考訳）: UoB-NLP at SemEval-2025 Task 11: Leveraging Adapter for Multilingual and Cross-Lingual Emotion Detection
• Authors: Frances Laureano De Leon, Yixiao Wang, Yue Feng, Mark G. Lee,
• Abstract要約: 適応型微調整を多言語事前学習言語モデルに応用し,多言語・多言語間感情検出に対処する。 当社のアプローチは11言語で大きな言語モデルより優れており、他の4言語でのパフォーマンスと一致しています。
• 参考スコア（独自算出の注目度）: 9.308405292847148
• License:
• Abstract: Emotion detection in natural language processing is a challenging task due to the complexity of human emotions and linguistic diversity. While significant progress has been made in high-resource languages, emotion detection in low-resource languages remains underexplored. In this work, we address multilingual and cross-lingual emotion detection by leveraging adapter-based fine-tuning with multilingual pre-trained language models. Adapters introduce a small number of trainable parameters while keeping the pre-trained model weights fixed, offering a parameter-efficient approach to adaptation. We experiment with different adapter tuning strategies, including task-only adapters, target-language-ready task adapters, and language-family-based adapters. Our results show that target-language-ready task adapters achieve the best overall performance, particularly for low-resource African languages with our team ranking 7th for Tigrinya, and 8th for Kinyarwanda in Track A. In Track C, our system ranked 3rd for Amharic, and 4th for Oromo, Tigrinya, Kinyarwanda, Hausa, and Igbo. Our approach outperforms large language models in 11 languages and matches their performance in four others, despite our models having significantly fewer parameters. Furthermore, we find that adapter-based models retain cross-linguistic transfer capabilities while requiring fewer computational resources compared to full fine-tuning for each language.
• Abstract（参考訳）: 自然言語処理における感情検出は、人間の感情と言語多様性の複雑さのために難しい課題である。 高リソース言語では大きな進歩があったが、低リソース言語の感情検出はいまだに未調査である。 本研究では,多言語事前学習言語モデルを用いた適応型微調整を活用することで,多言語・多言語間感情検出に対処する。 アダプタは、事前訓練されたモデルの重みを固定しながら、少数のトレーニング可能なパラメータを導入し、適応に対するパラメータ効率のよいアプローチを提供する。 我々は、タスク専用アダプタ、ターゲット言語対応タスクアダプタ、言語ファミリーベースのアダプタなど、さまざまなアダプタチューニング戦略を実験する。 対象言語対応タスクアダプタは,特にTgrinyaで7位,Track AでKinyarwandaで8位,Oromo,Tigrinya,Kinyarwanda,Hausa,Igboでは3位,Track Cでは4位,低リソースのアフリカ言語では4位であった。 提案手法は11言語で大きな言語モデルより優れており,パラメータが大幅に少ないにもかかわらず,他の4言語でその性能に匹敵する。 さらに, 適応型モデルでは言語間伝達能力は保たれるが, 各言語に対する完全な微調整に比べて計算資源は少なくなっている。

関連論文リスト

• AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging [96.39773974044041]
  言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。 本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。 実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-29T07:11:24Z)
• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
  言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。 パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
  論文  参考訳（メタデータ） (2021-05-18T08:30:37Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。