論文の概要: AfroXLMR-Social: Adapting Pre-trained Language Models for African Languages Social Media Text

• arxiv url: http://arxiv.org/abs/2503.18247v1
• Date: Mon, 24 Mar 2025 00:06:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:21.212963
• Title: AfroXLMR-Social: Adapting Pre-trained Language Models for African Languages Social Media Text
• Title（参考訳）: AfroXLMR-Social:アフリカ語ソーシャルメディアテキストに対する事前学習言語モデルの適用
• Authors: Tadesse Destaw Belay, Israel Abebe Azime, Ibrahim Said Ahmad, Idris Abdulmumin, Abinew Ali Ayele, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam,
• Abstract要約: 様々なソースから構築された事前訓練言語モデル(PLM)は、今日のNLP進歩の基盤となっている。 低リソースアフリカ言語に対するドメインおよびタスク適応型継続事前学習手法の徹底的な分析について検討する。 AfriSocialは、ドメイン適応的な微調整用に設計されたコーパスで、高品質な前処理ステップを通過します。
• 参考スコア（独自算出の注目度）: 5.137881481160781
• License:
• Abstract: Pretrained Language Models (PLMs) built from various sources are the foundation of today's NLP progress. Language representations learned by such models achieve strong performance across many tasks with datasets of varying sizes drawn from various sources. We explore a thorough analysis of domain and task adaptive continual pretraining approaches for low-resource African languages and a promising result is shown for the evaluated tasks. We create AfriSocial, a corpus designed for domain adaptive finetuning that passes through quality pre-processing steps. Continual pretraining PLMs using AfriSocial as domain adaptive pretraining (DAPT) data, consistently improves performance on fine-grained emotion classification task of 16 targeted languages from 1% to 28.27% macro F1 score. Likewise, using the task adaptive pertaining (TAPT) approach, further finetuning with small unlabeled but similar task data shows promising results. For example, unlabeled sentiment data (source) for fine-grained emotion classification task (target) improves the base model results by an F1 score ranging from 0.55% to 15.11%. Combining the two methods, DAPT + TAPT, achieves also better results than base models. All the resources will be available to improve low-resource NLP tasks, generally, as well as other similar domain tasks such as hate speech and sentiment tasks.
• Abstract（参考訳）: 様々なソースから構築された事前訓練言語モデル(PLM)は、今日のNLP進歩の基盤となっている。 このようなモデルによって学習された言語表現は、様々なソースから引き出された様々なサイズのデータセットを用いて、多くのタスクにわたって強力なパフォーマンスを達成する。 本稿では,低リソースアフリカ言語に対するドメインおよびタスク適応型継続事前学習手法の徹底的な分析を行い,評価課題に対して有望な結果を示す。 AfriSocialはドメイン適応的な微調整用に設計されたコーパスで、高品質な前処理ステップを通過します。 AfriSocial をドメイン適応事前訓練(DAPT)データとして使用した継続事前学習 PLM は、16言語を対象にした詳細な感情分類タスクの性能を 1% から 28.27% のマクロ F1 スコアに改善する。 同様に、タスク適応関連(TAPT)アプローチを用いることで、小さなラベルのない類似のタスクデータでさらに微調整することで、有望な結果が得られる。 例えば、微粒な感情分類タスク(ターゲット)のためのラベルなし感情データ(ソース)は、0.55%から15.11%までのF1スコアでベースモデルの結果を改善する。 DAPT + TAPTという2つの手法を組み合わせることで、ベースモデルよりも優れた結果が得られる。 すべてのリソースは、一般的に低リソースのNLPタスクと、ヘイトスピーチや感情タスクのような他の似たようなドメインタスクを改善するために利用できる。

関連論文リスト

• Less is More: Parameter-Efficient Selection of Intermediate Tasks for Transfer Learning [5.119396962985841]
  中間的タスク伝達学習はモデル性能を大幅に向上させることができる。 12kのソース・ターゲット対を用いたNLPタスク転送性とタスク選択に関する最大の研究を行う。 事前の手法でESMを適用すると、それぞれ10と278の因子による実行時間とディスクスペースの使用量が減少する。
  論文  参考訳（メタデータ） (2024-10-19T16:22:04Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)
• Rationale-Guided Few-Shot Classification to Detect Abusive Language [5.977278650516324]
  乱用言語検出のためのRGFS(Rationale-Guided Few-Shot Classification)を提案する。 2つの理性統合BERTアーキテクチャ(RGFSモデル)を導入し、5つの異なる乱用言語データセット上でシステムを評価する。
  論文  参考訳（メタデータ） (2022-11-30T14:47:14Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。