論文の概要: Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets

• arxiv url: http://arxiv.org/abs/2406.18906v2
• Date: Tue, 08 Oct 2024 20:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:28:19.180443
• Title: Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets
• Title（参考訳）: Sonnet or not, Bot? 大規模モデルとデータセットの詩的評価
• Authors: Melanie Walsh, Anna Preus, Maria Antoniak,
• Abstract要約: 大規模言語モデル(LLM)が詩を生成、認識できるようになった。 我々はLLMが英語詩の1つの側面をいかに認識するかを評価するタスクを開発する。 我々は,現在最先端のLLMが,一般的な文体と一般的でない文体の両方を識別できることを示す。
• 参考スコア（独自算出の注目度）: 3.0040661953201475
• License:
• Abstract: Large language models (LLMs) can now generate and recognize poetry. But what do LLMs really know about poetry? We develop a task to evaluate how well LLMs recognize one aspect of English-language poetry--poetic form--which captures many different poetic features, including rhyme scheme, meter, and word or line repetition. By using a benchmark dataset of over 4.1k human expert-annotated poems, we show that state-of-the-art LLMs can successfully identify both common and uncommon fixed poetic forms--such as sonnets, sestinas, and pantoums--with surprisingly high accuracy. However, performance varies significantly by poetic form; the models struggle to identify unfixed poetic forms, especially those based on topic or visual features. We additionally measure how many poems from our benchmark dataset are present in popular pretraining datasets or memorized by GPT-4, finding that pretraining presence and memorization may improve performance on this task, but results are inconclusive. We release a benchmark evaluation dataset with 1.4k public domain poems and form annotations, results of memorization experiments and data audits, and code.
• Abstract（参考訳）: 大規模言語モデル(LLM)が詩を生成、認識できるようになった。 しかし、LLMが詩について本当に知っていることは何か? 我々は,LLMが英語詩の1つの側面(詩形式)をいかに認識するかを評価するタスクを開発する。 人間の専門家が注釈付けした4.1k以上の詩のベンチマークデータセットを用いて、最先端のLLMが驚くほど高い精度で、ソネット、セスティーナ、パントームなどの一般的な固定詩形式と非一般的な詩形式の両方を識別できることを示す。 しかし、パフォーマンスは詩形式によって大きく異なり、特に話題や視覚的特徴に基づいて、固定されていない詩形式を特定するのに苦慮している。 また,GPT-4によって記憶された,一般的な事前学習データセットにベンチマークデータセットから得られる詩数も測定し,事前学習の有無や記憶がタスクのパフォーマンスを向上させる可能性があるが,結果は決定的ではない。 我々は、1.4万のパブリックドメイン詩とフォームアノテーション、記憶実験結果、データ監査結果、コードによるベンチマーク評価データセットをリリースする。

関連論文リスト

• A Computational Approach to Style in American Poetry [19.41186389974801]
  我々は,アメリカの詩のスタイルを評価し,詩集を相互に視覚化する手法を開発した。 質的な詩批評は、様々な正書法、構文、音韻の特徴を分析するメトリクスの開発を導くのに役立ちました。 本手法は,テキストの学術研究,詩に対する直感的な個人的反応の研究,およびお気に入りの詩に基づいた読者への推薦に有効である。
  論文  参考訳（メタデータ） (2023-10-13T18:49:14Z)
• PoetryDiffusion: Towards Joint Semantic and Metrical Manipulation in Poetry Generation [58.36105306993046]
  制御可能なテキスト生成は自然言語生成(NLG)において困難かつ有意義な分野である 本稿では,ソネット生成のための拡散モデルと中国語のSongCi詩の創始について述べる。 本モデルでは,人的評価だけでなく,意味的,計量的,総合的な性能の自動評価において,既存のモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-06-14T11:57:31Z)
• PoeLM: A Meter- and Rhyme-Controllable Language Model for Unsupervised Poetry Generation [42.12348554537587]
  形式詩は詩の韻律や韻律に厳格な制約を課している。 この種の詩を創作する以前の作品のほとんどは、既存の詩を監督に用いている。 本稿では,任意の韻律や韻律に従って詩を生成するための教師なしアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-24T17:09:55Z)
• Syllabic Quantity Patterns as Rhythmic Features for Latin Authorship Attribution [74.27826764855911]
  我々は、ラテン散文の計算的オーサシップ属性のタスクにおいて、リズミカルな特徴を導出する基盤として、音節量を用いる。 2つの異なる機械学習手法を用いて3つの異なるデータセットを用いて実験を行い、音節量に基づくリズム特徴がラテン散文の著者の識別に有用であることを示した。
  論文  参考訳（メタデータ） (2021-10-27T06:25:31Z)
• CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
  本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。 この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。 このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
  論文  参考訳（メタデータ） (2021-06-03T16:49:03Z)
• Acrostic Poem Generation [26.604889384391726]
  計算創造性分野における新たな課題として,英語のアクロスティック詩生成を提案する。 アクロスティック詩(Acrostic poem)は、隠されたメッセージを含む詩で、典型的には、各行の最初の文字が単語や短い句を綴り出す。 実験の結果,本研究の基準詩は人間に好意的に受け取られており,付加的な制約により品質が損なわれていないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T18:00:15Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)
• MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space [79.70053419040902]
  多様な要素を吸収し,多様なスタイルを創出し,多様性を促進する新しいモデルであるMixPoetを提案する。 半教師付き変分オートエンコーダに基づいて、我々のモデルは潜在空間をいくつかの部分空間に切り離し、それぞれが敵の訓練によって1つの影響因子に条件付けされる。 中国詩の実験結果は、MixPoetが3つの最先端モデルに対して多様性と品質の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2020-03-13T03:31:29Z)
• Introducing Aspects of Creativity in Automatic Poetry Generation [2.792030485253753]
  詩生成とは、詩作品に似たテキストを自動的に生成する教育システムである。 深層学習システムは、詩のコーパスを訓練し、特定の言語スタイルをモデル化することで、独自の詩を生成することができる。 我々は,事前訓練された言語モデルであるGPT-2を下流の詩生成タスクに適用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-06T20:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。