論文の概要: CLIN: an Objective Framework for Evaluating Creativity in Short Persian Literary Text

• arxiv url: http://arxiv.org/abs/2608.30754v1
• Date: Mon, 31 Aug 2026 13:22:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.414253
• Title: CLIN: an Objective Framework for Evaluating Creativity in Short Persian Literary Text
• Title（参考訳）: CLIN: ペルシャの短文で創造性を評価するためのオブジェクト指向フレームワーク
• Abstract要約: 大規模言語モデル(LLM)のアウトプットにおける創造性を評価することは、創造性が多次元で人間中心であるため、依然として困難である。 低リソース言語であるペルシャ語における短い文学的文章をLLMがいかに確実に評価するかを検討する。 TTCTによる構造的特性,例えばオリジン性, フルーエンシ, 実験ではアライメントが強いが, より主観的な次元, 特に感情や魅力には弱いことが判明した。 この次元に依存した振る舞いを動機として、構造化された創造性次元をシンプルで解釈可能なプロキシメトリクスで近似できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 15.007368492314308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating creativity in large language model (LLM) outputs remains challenging because creativity is multidimensional and human-centered. We examine how reliably LLMs evaluate short literary text in Persian, a low-resource language, across multiple evaluation strategies and prompt formulations. We find that LLM-human agreement varies substantially across dimensions: alignment is stronger for structured TTCT-derived properties such as Originality, Fluency, and Elaboration, but considerably weaker for more subjective dimensions, particularly Emotion and Attractiveness. Judgments are also sensitive to prompt formulation, while few-shot prompting, ensembling, and multi-agent debate provide no consistent improvement. Motivated by this dimension-dependent behavior, we investigate whether structured creativity dimensions can instead be approximated using simple, interpretable proxy metrics. We introduce CLIN, which evaluates three TTCT-derived dimensions separately using topic-aware novelty for Originality, contextual lexical clustering for Fluency, and lexical diversity for Elaboration. These proxies achieve human alignment comparable to or better than the strongest zero-shot LLM judge in our setting while requiring substantially lower evaluation cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアウトプットにおける創造性を評価することは、創造性が多次元で人間中心であるため、依然として困難である。 LLMがペルシャ語における短い文学的文章を、複数の評価戦略と迅速な定式化によっていかに確実に評価するかを検討する。 LLM-人的合意は, 構造的TTCT特性, 原性, フラエンシ, エラボレーションに対して強く, より主観的な次元, 特に感情や魅力においてかなり弱い。 判断は迅速な定式化にも敏感であるが、数発のプロンプト、アンサンブル、マルチエージェントの議論では一貫した改善は得られない。 この次元に依存した振る舞いを動機として、構造化された創造性次元をシンプルで解釈可能なプロキシメトリクスで近似できるかどうかを考察する。 CLINは3つのTTCTから派生した次元を別々に評価し,トピックを意識した創発性( Originality),文脈的語彙クラスタリング(fluency),語彙的多様性(rexical diversity)を用いて評価する。 これらのプロキシは,評価コストを大幅に削減しながら,最強のゼロショットLDM判定値に匹敵するヒトアライメントを達成する。

関連論文リスト

• SWIM: Student Writing Simulation via Proficiency-Conditioned Generation [54.69949380133243]
  この研究は、言語モデルが学生の文章を現実的にシミュレートし、SWIMを導入することができるかどうかを考察する。 我々は、プロファイルアライメントの尺度として自動エッセイスコアを用いたシミュレーションのプロンプト、教師付き微調整、強化学習手法の評価を行った。 以上の結果から,明示的監督は単独で行うよりもプロファイルアライメントを著しく向上させるが,信頼性の低い筆記法では再現が困難であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-02T23:10:51Z)
• Capabilities and Evaluation Biases of Large Language Models in Classical Chinese Poetry Generation: A Case Study on Tang Poetry [4.720025219010595]
  大規模言語モデル(LLM)は、創造的領域にますます適用されつつあるが、古典中国語の詩生成や評価において、その性能はいまだによく分かっていない。 本稿では,計算量,LCM-as-a-judgeアセスメント,人間専門家による検証を組み合わせた3段階評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-17T05:00:37Z)
• Evaluating the Creativity of LLMs in Persian Literary Text Generation [5.067768639196139]
  我々は、20の多様なトピックにまたがるユーザー生成ペルシア文学のデータセットを構築した。 創造的思考のTorrance Testsを適応させることにより、創造性、流布性、柔軟性、実験の4つの側面に沿ったモデル出力を評価する。
  論文  参考訳（メタデータ） (2025-09-22T20:32:56Z)
• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• CATER: Leveraging LLM to Pioneer a Multidimensional, Reference-Independent Paradigm in Translation Quality Evaluation [0.0]
  Comprehensive AI-assisted Translation Edit Ratio (CATER)は、機械翻訳(MT)の品質を評価するための新しいフレームワークである。 大きな言語モデル(LLM)は、慎重に設計されたプロンプトベースのプロトコルによって使用される。
  論文  参考訳（メタデータ） (2024-12-15T17:45:34Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Semantic Consistency for Assuring Reliability of Large Language Models [9.040736633675136]
  大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。 セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。 本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-17T18:11:33Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。