Fugu-MT 論文翻訳(概要): Modern French Poetry Generation with RoBERTa and GPT-2

論文の概要: Modern French Poetry Generation with RoBERTa and GPT-2

arxiv url: http://arxiv.org/abs/2212.02911v1
Date: Tue, 6 Dec 2022 12:10:14 GMT
ステータス: 処理完了
システム内更新日: 2022-12-07 16:31:22.582939
Title: Modern French Poetry Generation with RoBERTa and GPT-2
Title（参考訳）: RoBERTaとGPT-2による現代フランス語詩の生成
Authors: Mika H\"am\"al\"ainen, Khalid Alnajjar, Thierry Poibeau
Abstract要約: このモデルは、詩生成タスクのために微調整された2つの事前訓練されたニューラルモデルで構成されている。モデルのエンコーダはRoBERTaベースであり、デコーダはGPT-2ベースである。我々の評価は、このモデルがフランス語の詩をうまく作ることができることを示している。
参考スコア（独自算出の注目度）: 1.9014535120129343
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a novel neural model for modern poetry generation in French. The model consists of two pretrained neural models that are fine-tuned for the poem generation task. The encoder of the model is a RoBERTa based one while the decoder is based on GPT-2. This way the model can benefit from the superior natural language understanding performance of RoBERTa and the good natural language generation performance of GPT-2. Our evaluation shows that the model can create French poetry successfully. On a 5 point scale, the lowest score of 3.57 was given by human judges to typicality and emotionality of the output poetry while the best score of 3.79 was given to understandability.
Abstract（参考訳）: 我々はフランス語で現代詩生成のための新しいニューラルモデルを提案する。このモデルは、詩生成タスク用に微調整された2つの事前学習されたニューラルモデルで構成されている。モデルのエンコーダはRoBERTaベースであり、デコーダはGPT-2ベースである。これにより、RoBERTaの優れた自然言語理解性能とGPT-2の優れた自然言語生成性能の恩恵を受けることができる。評価の結果,モデルがフランス語詩をうまく作ることができることがわかった。 5ポイントの尺度では、出力詩の典型性と感情性に対して人間の判断によって最低スコア3.57が与えられ、最高スコア3.79が理解に与えられた。

関連論文リスト

The Llama 3 Herd of Models [356.6353861669039]
本稿ではLlama 3と呼ばれる新しい基礎モデルについて述べる。 Llama 3は、多言語性、コーディング、推論、ツール使用をサポートする言語モデルの群れである。 Llama 3は、GPT-4のような主要な言語モデルに匹敵する品質を多くのタスクで提供しています。
論文参考訳（メタデータ） (2024-07-31T17:54:27Z)
AraPoemBERT: A Pretrained Language Model for Arabic Poetry Analysis [0.0]
AraPoemBERTはアラビア語の詩文に特化して訓練されたアラビア語モデルである。 AraPoemBERTは、詩のジェンダー分類と詩のサブメーター分類という3つの新しいタスクのうちの2つにおいて、前例のない精度を達成した。この研究で使用されるデータセットには、オンラインソースから収集された2億9900万の詩が含まれている。
論文参考訳（メタデータ） (2024-03-19T02:59:58Z)
Stay on topic with Classifier-Free Guidance [57.28934343207042]
CFGは純粋言語モデリングにおける推論時手法として広く利用できることを示す。 CFG は Pythia, GPT-2 および LLaMA ファミリーモデルの性能をタスクの配列にわたって改善することを示す。
論文参考訳（メタデータ） (2023-06-30T17:07:02Z)
PoetryDiffusion: Towards Joint Semantic and Metrical Manipulation in Poetry Generation [58.36105306993046]
制御可能なテキスト生成は自然言語生成(NLG)において困難かつ有意義な分野である本稿では,ソネット生成のための拡散モデルと中国語のSongCi詩の創始について述べる。本モデルでは,人的評価だけでなく,意味的,計量的,総合的な性能の自動評価において,既存のモデルよりも優れる。
論文参考訳（メタデータ） (2023-06-14T11:57:31Z)
ByGPT5: End-to-End Style-conditioned Poetry Generation with Token-free Language Models [23.381986209234157]
そこで本研究では,韻律,韻律,韻律などの文体に規定された終末詩の生成について検討する。我々は、新しいトークンフリーデコーダのみの言語モデルであるBYGPT5の事前トレーニングに成功した。 ByGPT5は,mT5,BYT5,GPT-2,ChatGPTなどの他のモデルよりも優れ,パラメータ効率が良く,人間に好適な性能を示す。
論文参考訳（メタデータ） (2022-12-20T17:49:49Z)
Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。より小さな言語モデルを微調整して有用な中間コンテキストを生成します。私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
論文参考訳（メタデータ） (2022-09-02T18:32:09Z)
Romantic-Computing [0.0]
我々は、初期のイギリスロマン主義のスタイルで詩を書く様々なテキスト生成モデルの能力を比較する。キャラクタレベルリカレントニューラルネットワークは、トランスモデルに比べてはるかにパフォーマンスが悪かった。
論文参考訳（メタデータ） (2022-06-01T14:27:17Z)
Cedille: A large autoregressive French language model [0.21756081703276003]
私たちはCedilleを紹介します。Cedilleは大規模なオープンソースの自動回帰言語モデルで、特にフランス語のために訓練されています。以上の結果から,Cedille は既存のフランス語モデルより優れており,GPT-3 と競合する。
論文参考訳（メタデータ） (2022-02-07T17:40:43Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文参考訳（メタデータ） (2021-03-11T06:47:45Z)
RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification [5.71097144710995]
変換器による双方向表現(BERT)は、様々な自然言語処理タスクにおけるパフォーマンスを劇的に向上させる、有望な方法である。本プロジェクトでは,中国語テキスト分類にroberta-wwm-extプリトレイン言語モデルを適用し,微調整を行った。モデルは、法行動の記述と違法行為の記述を含む2つの分類に分類することができた。
論文参考訳（メタデータ） (2021-02-24T18:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。