論文の概要: POEMetric: The Last Stanza of Humanity

• arxiv url: http://arxiv.org/abs/2604.03695v1
• Date: Sat, 04 Apr 2026 11:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.726297
• Title: POEMetric: The Last Stanza of Humanity
• Title（参考訳）: POEMetric:人間性の最後のスタンザ
• Authors: Bingru Li, Han Wang, Hazel Wilkinson,
• Abstract要約: 大きな言語モデル(LLM)は詩を構成することができるが、人間の詩人からどのくらい離れているのか? 詩評価のための最初の総合的枠組みであるPOEMetricを紹介し,(1)特定の形式と主題に従って詩を生成するための基本的な指導・追従能力,(2)創造性,語彙的多様性,慣用性を示す能力,情緒的共鳴を誘発し,イメージと文学的装置を使用する能力,(3)全体的な詩の質と作者の推定の総合的評価について紹介する。
• 参考スコア（独自算出の注目度）: 1.8453032748632798
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) can compose poetry, but how far are they from human poets? In this paper, we introduce POEMetric, the first comprehensive framework for poetry evaluation, examining 1) basic instruction-following abilities in generating poems according to a certain form and theme, 2) advanced abilities of showing creativity, lexical diversity, and idiosyncrasy, evoking emotional resonance, and using imagery and literary devices, and 3) general appraisal of the overall poem quality and estimation of authorship. We curated a human poem dataset - 203 English poems of 7 fixed forms annotated with meter, rhyme patterns and themes - and experimented with 30 LLMs for poetry generation based on the same forms and themes of the human data, totaling 6,090 LLM poems. Based on POEMetric, we assessed the performance of both human poets and LLMs through rule-based evaluation and LLM-as-a-judge, whose results were validated by human experts. Results show that, though the top model achieved high form accuracy (4.26 out of 5.00, with Gemini-2.5-Pro as a judge; same below) and theme alignment (4.99), all models failed to reach the same level of advanced abilities as human poets, who achieved unparalleled creativity (4.02), idiosyncrasy (3.95), emotional resonance (4.06), and skillful use of imagery (4.49) and literary devices (4.67). Humans also defeated the best-performing LLM in overall poem quality (4.22 vs. 3.20). As such, poetry generation remains a formidable challenge for LLMs. Data and codes are released at https://github.com/Bingru-Li/POEMetric.
• Abstract（参考訳）: 大きな言語モデル(LLM)は詩を構成することができるが、人間の詩人からどのくらい離れているのか? 本稿では,詩評定のための初の総合的枠組みであるPOEMetricを紹介する。 一 特定の形態及び主題に応じて歌を詠み出す基本的な指導力 2 創造性、語彙多様性及び慣用性を示し、情緒的共鳴を誘発し、画像及び文学的装置を使用する高度な能力 3)全般的な歌の質評価と作者の推定。 我々は,<sup>m>,<sup>m>,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,^l,<sup>,^l,<sup>の7,<sup>l,<sup>の7の7の7つの定型詩を実験した。 POEMetricに基づいて,ルールに基づく評価とLLM-as-a-judgeを用いて,人間の詩人とLLMの双方のパフォーマンスを評価し,その結果を人的専門家が検証した。 その結果、トップモデルは高い形式精度(5.00点中4.26点、審査員としてジェミニ・2.5-Pro)とテーマアライメント(4.99点)を達成できたが、すべてのモデルは、無矛盾の創造性(4.02点)、イディオシントラシー(3.95点)、感情共鳴(4.06点)、画像(4.49点)、文芸機器(4.67点)を達成できなかった。 また、人間は全体の詩の質(4.22対3.20)で最高のパフォーマンスのLLMを破った。 したがって、LLMにとって詩生成は恐ろしい課題である。 データとコードはhttps://github.com/Bingru-Li/POEMetric.comで公開されている。

関連論文リスト

• Can ChatGPT Really Understand Modern Chinese Poetry? [41.340415709375186]
  ChatGPTは詩生成と翻訳の両方において顕著な能力を示した。 それまでの詩に関する研究は、理解の根本的な問題に対処することなく、実験結果を分析するだけであった。 本稿では,ChatGPTの現代詩理解を総合的に評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-21T15:14:43Z)
• Creating a digital poet [8.593632029412502]
  我々は7ヶ月の詩のワークショップを報告し、大きな言語モデルがデジタル詩人に成形されたことを報告した。 このモデルは、量的および質的な分析によって支えられた、独特なスタイルとコヒーレントなコーパスを発達させた。 ワークショップの後、ある商業出版社がモデルによって書かれた詩集を出版した。
  論文  参考訳（メタデータ） (2026-02-18T16:25:10Z)
• Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets [3.0040661953201475]
  大規模言語モデル(LLM)が詩を生成、認識できるようになった。 我々はLLMが英語詩の1つの側面をいかに認識するかを評価するタスクを開発する。 我々は,現在最先端のLLMが,一般的な文体と一般的でない文体の両方を識別できることを示す。
  論文  参考訳（メタデータ） (2024-06-27T05:36:53Z)
• Measuring Psychological Depth in Language Models [50.48914935872879]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• Generation of Chinese classical poetry based on pre-trained model [1.6114012813668934]
  本稿では,主にBARTやその他の事前学習モデルを用いて,韻律的詩文を生成する。 一連のAI詩のチューリング問題を開発し、詩や詩を書く研究者のグループによってレビューされた。 著者が研究した詩文生成のモデルは、先進的な学者と区別できない作品を一般化している。
  論文  参考訳（メタデータ） (2022-11-04T16:05:31Z)
• PoeLM: A Meter- and Rhyme-Controllable Language Model for Unsupervised Poetry Generation [42.12348554537587]
  形式詩は詩の韻律や韻律に厳格な制約を課している。 この種の詩を創作する以前の作品のほとんどは、既存の詩を監督に用いている。 本稿では,任意の韻律や韻律に従って詩を生成するための教師なしアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-24T17:09:55Z)
• CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
  本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。 この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。 このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
  論文  参考訳（メタデータ） (2021-06-03T16:49:03Z)
• MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space [79.70053419040902]
  多様な要素を吸収し,多様なスタイルを創出し,多様性を促進する新しいモデルであるMixPoetを提案する。 半教師付き変分オートエンコーダに基づいて、我々のモデルは潜在空間をいくつかの部分空間に切り離し、それぞれが敵の訓練によって1つの影響因子に条件付けされる。 中国詩の実験結果は、MixPoetが3つの最先端モデルに対して多様性と品質の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2020-03-13T03:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。