Fugu-MT 論文翻訳(概要): BERT Fine-tuning For Arabic Text Summarization

論文の概要: BERT Fine-tuning For Arabic Text Summarization

arxiv url: http://arxiv.org/abs/2004.14135v1
Date: Sun, 29 Mar 2020 20:23:14 GMT
ステータス: 処理完了
システム内更新日: 2022-12-18 13:03:13.292151
Title: BERT Fine-tuning For Arabic Text Summarization
Title（参考訳）: アラビア文字要約のためのBERTファインチューニング
Authors: Khalid N. Elmadani, Mukhtar Elgezouli, Anas Showk
Abstract要約: 我々のモデルは多言語BERTで動作する(アラビア語は独自の事前訓練されたBERTを持っていないため)。本研究は、アラビア語コーパスに適用する前に、英語コーパスにおいて、抽出タスクと抽象タスクの両方でその性能を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning a pretrained BERT model is the state of the art method for extractive/abstractive text summarization, in this paper we showcase how this fine-tuning method can be applied to the Arabic language to both construct the first documented model for abstractive Arabic text summarization and show its performance in Arabic extractive summarization. Our model works with multilingual BERT (as Arabic language does not have a pretrained BERT of its own). We show its performance in English corpus first before applying it to Arabic corpora in both extractive and abstractive tasks.
Abstract（参考訳）: 本稿では,アラビア文字要約のための第1文書化モデルの構築と,そのアラビア文字要約における性能を示すために,この微細チューニング手法をアラビア語言語に適用する方法を紹介する。我々のモデルは多言語BERTで動作する(アラビア語には独自の事前訓練されたBERTがない)。抽出タスクと抽象タスクの両方でアラビア語コーパスに適用する前に、まず英語コーパスでそのパフォーマンスを示す。

関連論文リスト

Bilingual Adaptation of Monolingual Foundation Models [48.859227944759986]
単言語大言語モデル(LLM)を他の言語に適応させる効率的な手法を提案する。 2段階のアプローチは、語彙を拡張し、埋め込み行列のみをトレーニングすることから始まります。アラビア語と英語のコーパスを混ぜて継続的に事前訓練することで、このモデルは英語の習熟度を維持しつつ、アラビア語の能力を獲得している。
論文参考訳（メタデータ） (2024-07-13T21:09:38Z)
On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文参考訳（メタデータ） (2024-01-15T15:11:15Z)
AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文参考訳（メタデータ） (2023-09-21T13:20:13Z)
Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文参考訳（メタデータ） (2023-07-16T00:45:42Z)
AraBART: a Pretrained Arabic Sequence-to-Sequence Model for Abstractive Summarization [23.540743628126837]
BARTに基づいてエンコーダとデコーダを事前訓練した最初のアラビアモデルであるAraBARTを提案する。 AraBARTは複数の抽象的な要約データセット上で最高の性能を発揮することを示す。
論文参考訳（メタデータ） (2022-03-21T13:11:41Z)
Supporting Undotted Arabic with Pre-trained Language Models [0.0]
本研究では,事前学習したアラビア語モデルを適用したアラビア語の「未収録」テキストに対する効果について検討する。そこで本研究では,事前学習したモデルを用いて未分類のテキストをサポートする方法をいくつか提案し,その性能を2つのアラビア自然言語処理タスクで測定する。
論文参考訳（メタデータ） (2021-11-18T16:47:56Z)
Arabic aspect based sentiment analysis using BERT [0.0]
本稿では、BERTのような事前訓練された言語モデルからのコンテキスト埋め込みのモデリング機能について述べる。我々は、このタスクに対処するために、シンプルだが効果的なBERTベースの神経ベースラインを構築しています。実験結果によると, 単純な線形分類層を持つBERTアーキテクチャは, 最先端の成果を上回った。
論文参考訳（メタデータ） (2021-07-28T11:34:00Z)
AraELECTRA: Pre-Training Text Discriminators for Arabic Language Understanding [0.0]
我々はアラビア語表現モデルを開発し、AraELECTRAと名付けた。我々のモデルは、大きなアラビア文字コーパス上の代用トークン検出目標を用いて事前訓練されている。 AraELECTRAは、現在最先端のアラビア語表現モデルよりも優れており、同じ事前学習データと、より小さいモデルサイズが与えられている。
論文参考訳（メタデータ） (2020-12-31T09:35:39Z)
Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
論文参考訳（メタデータ） (2020-10-31T02:21:43Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
AraBERT: Transformer-based Model for Arabic Language Understanding [0.0]
我々は、BERTが英語で行ったのと同じ成功を達成するために、特にアラビア語のためにBERTを事前訓練した。その結果, AraBERTはアラビアのほとんどのNLPタスクで最先端の性能を達成した。
論文参考訳（メタデータ） (2020-02-28T22:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。