論文の概要: Authorship attribution and aesthetic evaluation of AI poetry: a case study with Haiku
- arxiv url: http://arxiv.org/abs/2609.15511v1
- Date: Mon, 14 Sep 2026 13:02:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.402428
- Title: Authorship attribution and aesthetic evaluation of AI poetry: a case study with Haiku
- Title（参考訳）: AI詩の作者属性と美的評価--俳句を事例として
- Abstract要約: 本稿では,現代大言語モデル(LLM)による日本語俳句の生成と人的評価について検討する。
数発のプロンプト戦略を用いて、多種多様な大言語モデルにまたがって日本語俳句を生成した。
これらのAIによる俳句と人書きの俳句が組み合わされ、東京の日本大学の学生に配布されたアンケートで紹介された。
- 参考スコア（独自算出の注目度）: 6.495477898001616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the generation and human evaluation of Japanese haiku by contemporary Large Language Models (LLMs), focusing on authorship perception and aesthetic judgment within a constrained poetic form. Using a few-shot prompting strategy, Japanese haiku were generated across a heterogeneous set of large language models, including open- and closed-source systems, medium-scale and large-scale architectures, models with native or adapted Japanese support, and multilingual proprietary models. These AI-generated haiku were combined with human-written ones and presented in a questionnaire distributed to students at Japanese universities in Tokyo. The survey assessed whether respondents could distinguish between AI-generated and human-written haiku and which cues informed their judgments. Recognition accuracy varied across models. GPT-5, Gemini 2.5, and StableLM-7B performed at approximately chance level (approx 0.50), whereas LLM-JP, Gemma-2B, and LLaMA-2 showed moderate detectability (approx 0.59-0.67). However, recognition was strongly item-dependent. Ratings of fluency, coherence, poeticness, and related aesthetic dimensions predicted perceived humanness but not correct classification, indicating an attribution bias linked to aesthetic evaluation and revealing a dissociation between aesthetic evaluation and true authorship detection. The extended analysis additionally examines generation-constraint adherence, participant-level characteristics, and exploratory LLM-based evaluations of haiku authorship. Overall, the findings suggest that as LLMs improve, surface-level creative plausibility may reduce reliable human discrimination within constrained poetic settings.
- Abstract（参考訳）: 本稿では,現代大言語モデル(LLM)による日本語俳句の生成と人的評価について検討し,制約のある詩形式における著者認識と美的判断に着目した。
数発のプロンプト戦略を用いて,オープン・クローズド・ソース・システム,中規模・大規模アーキテクチャ,ネイティブ・日本語対応モデル,多言語対応モデル,多言語対応モデルなど,多種多様な言語モデルで日本語俳句が生成された。
これらのAI生成俳句と人書き俳句を組み合わせることで,東京の日本大学の学生を対象にしたアンケートを行った。
調査では、回答者がAI生成俳句と人書き俳句を区別できるかどうかを判断した。
認識精度はモデルによって異なる。
GPT-5、Gemini 2.5、StableLM-7Bは約0.50、LLM-JP、Gemma-2B、LLaMA-2は0.59-0.67であった。
しかし、認識はアイテムに依存していた。
フラレンシ,コヒーレンス,詩性,および関連する審美的次元のレーティングは,人間性を認識するが,正しい分類ではないことを予測し,美的評価に関連付けられた帰属バイアスを示し,美的評価と真の権威的検出の解離を明らかにした。
拡張分析では, 生成拘束性, 参加者レベル特性, 探索的LLMによる俳句作者評価についても検討した。
全体として、LLMが向上するにつれて、表面レベルの創造的妥当性は、制約された詩的設定内での人間差別の信頼性を低下させる可能性があることが示唆されている。
関連論文リスト
- Detecting and Guiding LLM-Generated Korean Poetry with Interpretable Form-level Features [17.99472063920348]
我々は,4つの形式レベルの言語次元に沿って,人間とLLMのギャップを定量化する。
我々はこれらの次元を5つの解釈可能な特徴として運用する。
世代別では、GPT-5.2の専門家による評価は、制約のないベースラインよりも特徴に富んだ詩を好む。
論文 参考訳（メタデータ） (2026-08-29T01:45:50Z) - Characterizing Human-Likeness in AI Generated Poetry: A Zero-shot Classification Study [0.3127125540508939]
この研究は、人文詩とAI詩の両方の分類と誤分類に寄与する英詩のアーキテクチャーを推論することを目的としている。
本稿では,人文詩とAI詩の両方からなるデータセットを用いたゼロショット検出パイプラインを提案し,人文詩とAI詩の区別可能性を検証する。
論文 参考訳（メタデータ） (2026-07-28T19:52:06Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳（メタデータ） (2026-07-17T08:56:43Z) - Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth [0.34797121357690153]
クロス評価フレームワークは、エジプト語とイラク語という2つの未表現のアラビア語方言のコミュニティをインスタンス化した。
提案手法は,母国語話者が作成した103組のプロンプト・ルブリックペアをコントリビュートする。
1,307人の審査員: GPT-5.4は最も信頼できる裁判官(MADj = 10.21 pp, Signed Error = -1.12%)である。
論文 参考訳（メタデータ） (2026-06-30T20:18:32Z) - Decoding AI Authorship: Can LLMs Truly Mimic Human Style Across Literature and Politics? [0.0]
本研究では,現在最先端の大規模言語モデル(LLM)が,著名な文学的・政治的人物の著作的署名をエミュレートする能力について検討する。
我々は、変換器に基づく分類(BERT)と解釈可能な機械学習(XGBoost)を組み合わせた補完的枠組みを用いて評価した合成コーパスを作成した。
提案手法は,AI生成テキストと人間認証テキストの相違を評価するために,言語問合せ,単語数マーカー,難易度,可読性指標を統合した。
論文 参考訳（メタデータ） (2026-03-24T13:58:09Z) - ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review [48.60540055009675]
ScholarPeerは、上級研究者の認知過程をエミュレートするために設計された、検索可能なマルチエージェントフレームワークである。
We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against state-of-the-art approach in side-side-side evaluations。
論文 参考訳（メタデータ） (2026-01-30T06:54:55Z) - Capabilities and Evaluation Biases of Large Language Models in Classical Chinese Poetry Generation: A Case Study on Tang Poetry [4.720025219010595]
大規模言語モデル(LLM)は、創造的領域にますます適用されつつあるが、古典中国語の詩生成や評価において、その性能はいまだによく分かっていない。
本稿では,計算量,LCM-as-a-judgeアセスメント,人間専門家による検証を組み合わせた3段階評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-17T05:00:37Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳（メタデータ） (2023-06-28T14:14:44Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T04:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。