論文の概要: GePpeTto Carves Italian into a Language Model

• arxiv url: http://arxiv.org/abs/2004.14253v1
• Date: Wed, 29 Apr 2020 15:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-08 13:52:48.565595
• Title: GePpeTto Carves Italian into a Language Model
• Title（参考訳）: GePpeTto、イタリア語を言語モデルに彫る
• Authors: Lorenzo De Mattei, Michele Cafagna, Felice Dell'Orletta, Malvina Nissim, Marco Guerini
• Abstract要約: 我々は,GPT-2アーキテクチャを用いて構築された,イタリア初の生成言語モデルであるGePpeTtoを開発した。 本稿では,自動評価と人的評価の両方を用いて,GePpeTtoの品質を徹底的に分析する。
• 参考スコア（独自算出の注目度）: 14.555960966330552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last few years, pre-trained neural architectures have provided impressive improvements across several NLP tasks. Still, generative language models are available mainly for English. We develop GePpeTto, the first generative language model for Italian, built using the GPT-2 architecture. We provide a thorough analysis of GePpeTto's quality by means of both an automatic and a human-based evaluation. The automatic assessment consists in (i) calculating perplexity across different genres and (ii) a profiling analysis over GePpeTto's writing characteristics. We find that GePpeTto's production is a sort of bonsai version of human production, with shorter but yet complex sentences. Human evaluation is performed over a sentence completion task, where GePpeTto's output is judged as natural more often than not, and much closer to the original human texts than to a simpler language model which we take as baseline.
• Abstract（参考訳）: ここ数年、トレーニング済みのニューラルアーキテクチャは、いくつかのNLPタスクで大幅に改善されている。 しかし、生成言語モデルは主に英語で利用可能である。 GPT-2アーキテクチャを用いて構築されたイタリア初の生成言語モデルであるGePpeTtoを開発した。 本稿では,自動評価と人的評価の両方を用いて,GePpeTtoの品質を徹底的に分析する。 自動評価は (i)異なるジャンル・ジャンルのパープレキシティの算出 (ii)ゲッペットの筆記特性のプロファイリング分析 GePpeTtoの生産は、短いが複雑な文で、人間の生産のボンサイの一種であることがわかった。 GePpeTtoのアウトプットは、より自然なものと判断され、ベースラインとして扱う単純な言語モデルよりも、オリジナルの人間のテキストにずっと近い。

関連論文リスト

• A deep Natural Language Inference predictor without language-specific training data [44.26507854087991]
  本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。 我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。 このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
  論文  参考訳（メタデータ） (2023-09-06T10:20:59Z)
• FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation [176.56131810249602]
  大規模言語モデル(LM)が生成する長文の事実性を評価することは簡単ではない。 FACTSCOREは、世代を一連の原子事実に分解し、信頼できる知識ソースによって支持される原子事実の割合を計算する新しい評価手法である。
  論文  参考訳（メタデータ） (2023-05-23T17:06:00Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Estimating Subjective Crowd-Evaluations as an Additional Objective to Improve Natural Language Generation [0.0]
  我々は6つの異なる言語生成モデルについて,群衆による対話コーパスを用いて微調整を行う。 これらのモデルのうち2つはマルチタスク学習を取り入れ、明確な学習目標の一部としてラインの主観評価を使用する。 生成した対話行の人間による評価では、マルチタスクモデルによって生成された発話が主観的に最も典型的であり、最も会話を前進させ、最も攻撃的であることを明らかにした。
  論文  参考訳（メタデータ） (2021-04-12T06:33:16Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Personality Trait Detection Using Bagged SVM over BERT Word Embedding Ensembles [10.425280599592865]
  本稿では,テキストからの人格自動検出のための新しい深層学習手法を提案する。 我々は、自然言語理解における最先端技術、すなわちBERT言語モデルを活用して、文脈化された単語埋め込みを抽出する。 我々のモデルは、従来の最先端技術よりも1.04%優れており、同時に、トレーニングの計算効率も大幅に向上している。
  論文  参考訳（メタデータ） (2020-10-03T09:25:51Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。