論文の概要: Evaluating the Creativity of LLMs in Persian Literary Text Generation

• arxiv url: http://arxiv.org/abs/2509.18401v1
• Date: Mon, 22 Sep 2025 20:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.574378
• Title: Evaluating the Creativity of LLMs in Persian Literary Text Generation
• Title（参考訳）: ペルシア文学テキスト生成におけるLCMの創造性の評価
• Authors: Armin Tourajmehr, Mohammad Reza Modarres, Yadollah Yaghoobzadeh,
• Abstract要約: 我々は、20の多様なトピックにまたがるユーザー生成ペルシア文学のデータセットを構築した。 創造的思考のTorrance Testsを適応させることにより、創造性、流布性、柔軟性、実験の4つの側面に沿ったモデル出力を評価する。
• 参考スコア（独自算出の注目度）: 5.067768639196139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated notable creative abilities in generating literary texts, including poetry and short stories. However, prior research has primarily centered on English, with limited exploration of non-English literary traditions and without standardized methods for assessing creativity. In this paper, we evaluate the capacity of LLMs to generate Persian literary text enriched with culturally relevant expressions. We build a dataset of user-generated Persian literary spanning 20 diverse topics and assess model outputs along four creativity dimensions-originality, fluency, flexibility, and elaboration-by adapting the Torrance Tests of Creative Thinking. To reduce evaluation costs, we adopt an LLM as a judge for automated scoring and validate its reliability against human judgments using intraclass correlation coefficients, observing strong agreement. In addition, we analyze the models' ability to understand and employ four core literary devices: simile, metaphor, hyperbole, and antithesis. Our results highlight both the strengths and limitations of LLMs in Persian literary text generation, underscoring the need for further refinement.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、詩や短編小説を含む文学のテキストを生成する際、顕著な創造力を示す。 しかし、先行研究は主に英語に焦点を当てており、非英語文学の伝統を限定的に探究し、創造性を評価するための標準的な方法も持っていない。 本稿では,文化的な表現に富んだペルシャ語文を生成できるLLMの能力を評価する。 我々は、20の多様なトピックにまたがるユーザ生成ペルシア文学のデータセットを構築し、創造性の4つの次元に沿ってモデルアウトプットを評価する。 評価コストを低減するため,LLMを自動スコアリングの判定として採用し,その信頼性をクラス内相関係数を用いて評価し,強い一致を観察する。 さらに、モデルが4つの中核的な文芸機器(シミュラ、メタファー、ハイパボレ、アンチテーゼ)を理解し、活用する能力を分析する。 この結果から,ペルシア文学テキスト生成におけるLLMの強みと限界が強調され,さらなる改良の必要性が強調された。

関連論文リスト

• Structuralist Approach to AI Literary Criticism: Leveraging Greimas Semiotic Square for Large Language Models [2.7323591332394166]
  GLASS (Greimas Literary Analysis via Semiotic Square) は、Greimas Semiotic Square (GSS) に基づく構造化分析フレームワークである。 GLASSは物語構造と物語作品における深い意味の素早い分離を促進する。 この研究は、文芸研究と教育のためのAIベースのツールを提供し、文芸エンゲージメントの基礎となる認知メカニズムに関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-26T15:10:24Z)
• Large Language Models for Automated Literature Review: An Evaluation of Reference Generation, Abstract Writing, and Review Composition [2.048226951354646]
  大規模言語モデル(LLM)は、文学レビューを書くことに関わる複雑なプロセスを自動化するための潜在的な解決策として登場した。 本研究は,文学書記の3つの重要な課題において,LLMの性能を自動評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-18T08:42:25Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• A Perspective on Literary Metaphor in the Context of Generative AI [0.6445605125467572]
  本研究は,文芸メタファーの役割と,その能力について考察する。 原語の含意が文質を向上させるかどうかを検討するため,アフリカーンスでLSTMに基づく言語モデルを訓練した。 本論文は,美的価値,解釈,評価に関する思考的疑問を提起する。
  論文  参考訳（メタデータ） (2024-09-02T08:27:29Z)
• Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
  我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。 以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-27T19:26:11Z)
• LFED: A Literary Fiction Evaluation Dataset for Large Language Models [58.85989777743013]
  元々は中国語で書かれたか、中国語に翻訳された95の文学小説を収集し、数世紀にわたって幅広い話題を扱っている。 質問分類を8つのカテゴリーで定義し,1,304の質問の作成を導く。 我々は、小説の特定の属性(小説の種類、文字番号、出版年など)がLLMのパフォーマンスに与える影響を詳細に分析する。
  論文  参考訳（メタデータ） (2024-05-16T15:02:24Z)
• Evaluating Large Language Model Creativity from a Literary Perspective [13.672268920902187]
  本稿では,大規模言語モデルが創造的記述プロセスにおいて補助ツールとして機能する可能性を評価する。 我々は,背景記述をインターリーブする対話的かつ多声的なプロンプト戦略,構成を案内する指示,対象スタイルのテキストのサンプル,与えられたサンプルの批判的議論を開発する。
  論文  参考訳（メタデータ） (2023-11-30T16:46:25Z)
• Art or Artifice? Large Language Models and the False Promise of Creativity [53.04834589006685]
  本稿では,創造性を製品として評価するTorrance Test of Creative Writing (TTCW)を提案する。 TTCWは14のバイナリテストで構成されており、Fluency、Flexibility、Originality、Elaborationの3次元に分かれている。 分析の結果,LPM生成したストーリーはプロのストーリーよりもTTCWが3～10倍少ないことが判明した。
  論文  参考訳（メタデータ） (2023-09-25T22:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。