論文の概要: Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets

• arxiv url: http://arxiv.org/abs/2406.18906v1
• Date: Thu, 27 Jun 2024 05:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 15:06:48.885878
• Title: Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets
• Title（参考訳）: Sonnet or not, Bot? 大規模モデルとデータセットの詩的評価
• Authors: Melanie Walsh, Anna Preus, Maria Antoniak,
• Abstract要約: 我々は,大言語モデル(LLM)が詩の特定の側面,詩形,20以上の形式および英語の形式的要素をいかに認識するかを評価する。 本研究は,NLP研究者のモデル評価,デジタル人文科学,文化分析学者,文化遺産専門家に影響を及ぼすものである。
• 参考スコア（独自算出の注目度）: 3.0040661953201475
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) can now generate and recognize text in a wide range of styles and genres, including highly specialized, creative genres like poetry. But what do LLMs really know about poetry? What can they know about poetry? We develop a task to evaluate how well LLMs recognize a specific aspect of poetry, poetic form, for more than 20 forms and formal elements in the English language. Poetic form captures many different poetic features, including rhyme scheme, meter, and word or line repetition. We use this task to reflect on LLMs' current poetic capabilities, as well as the challenges and pitfalls of creating NLP benchmarks for poetry and for other creative tasks. In particular, we use this task to audit and reflect on the poems included in popular pretraining datasets. Our findings have implications for NLP researchers interested in model evaluation, digital humanities and cultural analytics scholars, and cultural heritage professionals.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、詩のような高度に専門化された創造的なジャンルを含む、幅広いスタイルやジャンルのテキストを生成し、認識することができる。 しかし、LLMが詩について本当に知っていることは何か? 彼らは詩について何を知っているのか。 我々は、LLMが詩の特定の側面、詩形、20以上の形式と英語の形式的要素をいかによく認識しているかを評価するタスクを開発する。 詩の形式は韻律、メーター、単語または行の反復を含む多くの異なる詩的特徴を捉えている。 このタスクは、LLMの現在の詩的能力や、詩や他の創造的なタスクのためのNLPベンチマークを作成する際の課題や落とし穴を反映するために使用します。 特に、このタスクを使用して、人気のある事前学習データセットに含まれる詩を監査し、反映します。 本研究は,NLP研究者のモデル評価,デジタル人文科学,文化分析学者,文化遺産専門家に影響を及ぼすものである。

関連論文リスト

• A Computational Approach to Style in American Poetry [19.41186389974801]
  我々は,アメリカの詩のスタイルを評価し,詩集を相互に視覚化する手法を開発した。 質的な詩批評は、様々な正書法、構文、音韻の特徴を分析するメトリクスの開発を導くのに役立ちました。 本手法は,テキストの学術研究,詩に対する直感的な個人的反応の研究,およびお気に入りの詩に基づいた読者への推薦に有効である。
  論文  参考訳（メタデータ） (2023-10-13T18:49:14Z)
• PoetryDiffusion: Towards Joint Semantic and Metrical Manipulation in Poetry Generation [58.36105306993046]
  制御可能なテキスト生成は自然言語生成(NLG)において困難かつ有意義な分野である 本稿では,ソネット生成のための拡散モデルと中国語のSongCi詩の創始について述べる。 本モデルでは,人的評価だけでなく,意味的,計量的,総合的な性能の自動評価において,既存のモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-06-14T11:57:31Z)
• PoeLM: A Meter- and Rhyme-Controllable Language Model for Unsupervised Poetry Generation [42.12348554537587]
  形式詩は詩の韻律や韻律に厳格な制約を課している。 この種の詩を創作する以前の作品のほとんどは、既存の詩を監督に用いている。 本稿では,任意の韻律や韻律に従って詩を生成するための教師なしアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-24T17:09:55Z)
• Syllabic Quantity Patterns as Rhythmic Features for Latin Authorship Attribution [74.27826764855911]
  我々は、ラテン散文の計算的オーサシップ属性のタスクにおいて、リズミカルな特徴を導出する基盤として、音節量を用いる。 2つの異なる機械学習手法を用いて3つの異なるデータセットを用いて実験を行い、音節量に基づくリズム特徴がラテン散文の著者の識別に有用であることを示した。
  論文  参考訳（メタデータ） (2021-10-27T06:25:31Z)
• CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
  本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。 この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。 このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
  論文  参考訳（メタデータ） (2021-06-03T16:49:03Z)
• Acrostic Poem Generation [26.604889384391726]
  計算創造性分野における新たな課題として,英語のアクロスティック詩生成を提案する。 アクロスティック詩(Acrostic poem)は、隠されたメッセージを含む詩で、典型的には、各行の最初の文字が単語や短い句を綴り出す。 実験の結果,本研究の基準詩は人間に好意的に受け取られており,付加的な制約により品質が損なわれていないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T18:00:15Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)
• MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space [79.70053419040902]
  多様な要素を吸収し,多様なスタイルを創出し,多様性を促進する新しいモデルであるMixPoetを提案する。 半教師付き変分オートエンコーダに基づいて、我々のモデルは潜在空間をいくつかの部分空間に切り離し、それぞれが敵の訓練によって1つの影響因子に条件付けされる。 中国詩の実験結果は、MixPoetが3つの最先端モデルに対して多様性と品質の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2020-03-13T03:31:29Z)
• Introducing Aspects of Creativity in Automatic Poetry Generation [2.792030485253753]
  詩生成とは、詩作品に似たテキストを自動的に生成する教育システムである。 深層学習システムは、詩のコーパスを訓練し、特定の言語スタイルをモデル化することで、独自の詩を生成することができる。 我々は,事前訓練された言語モデルであるGPT-2を下流の詩生成タスクに適用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-06T20:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。