論文の概要: Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
- arxiv url: http://arxiv.org/abs/2609.28245v1
- Date: Wed, 23 Sep 2026 15:08:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.083547
- Title: Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
- Title（参考訳）: 詩を超えて:大言語モデルは古典アラビア語のマカマトを生成することができるか?
- Abstract要約: 大規模言語モデル(LLM)を用いたマカマ生成の制御評価について検討する。
我々は、ゼロショット、少数ショット、ルールベースプロンプトの5つのモデルを比較し、人間のアノテーションとLCM-as-a-judgeフレームワークを用いて出力を評価する。
以上の結果から,レトリックやコヒーレンスに対する効果はモデルによって異なるが,スタイリスティックな品質ではプロンプト戦略が強い役割を担っていることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown strong performance in creative text generation, yet their ability to produce culturally grounded and stylistically constrained literary forms remains underexplored. Prior work has focused largely on modern language varieties and poetry, while classical prose traditions such as maqama remain largely unstudied. The maqama is a classical literary genre characterized by rhymed prose (saj), dense rhetorical ornamentation, and episodic narrative structure, making it a challenging testbed for evaluating whether LLMs can move beyond surface fluency toward deeper literary competence. In this paper, we present the first controlled evaluation study of maqama generation with LLMs, comparing five models under zero-shot, few-shot, and rule-based prompting, and evaluating outputs through both human annotation and an LLM-as-a-judge framework across dimensions such as rhetorical richness, saj density, structural coherence, and stylistic authenticity. Our results show that prompting strategy plays a strong role in stylistic quality: few-shot prompting most consistently improves saj density, while its effects on rhetoric and coherence vary by model, with the strongest models (GPT-4o and GPT-5.4-mini) benefiting most from rule-based prompting on these dimensions, though zero-shot prompting yields the highest aggregate scores across all five models. We further observe systematic differences between models in stylistic alignment with Arabic maqama conventions, and corroborate our findings with a second independent LLM judge, paired statistical significance testing, and non-LLM proxy measures of saj.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、創造的なテキスト生成において強いパフォーマンスを示してきたが、文化的基盤と様式的に制約された文学形式を制作する能力はいまだに未熟である。
以前の作品は主に現代言語と詩に焦点を合わせてきたが、マカマのような古典的な散文の伝統はほとんど研究されていない。
マカマは、韻律的な散文(saj)、密集した修辞的装飾、叙事詩的な物語構造を特徴とする古典文学のジャンルであり、LLMが表面流布を越えてより深い文学的能力に向かって動けるかどうかを評価する上で、難しい試練となっている。
本稿では, ゼロショット, 少数ショット, ルールベースプロンプトの5つのモデルを比較し, 修辞的リッチネス, サージ密度, 構造的コヒーレンス, スタイル的信頼度といった次元にわたって, 人間のアノテーションとLCM-as-a-judgeフレームワークを用いて出力を評価する。
最強のモデル (GPT-4o と GPT-5.4-mini) はこれらの次元におけるルールベースのプロンプトの利点のほとんどを享受するが、ゼロショットプロンプトは5つのモデル全体で最も高いアグリゲーションスコアを得る。
さらに,アラビアのマカマコンベンションとスタイリスティックなアライメントのモデル間の系統的差異を観察し,第2の独立LLM審査員,ペアの統計的有意性試験,および非LLMによるサージのプロキシ尺度との相関について検討した。
関連論文リスト
- SWIM: Student Writing Simulation via Proficiency-Conditioned Generation [54.69949380133243]
この研究は、言語モデルが学生の文章を現実的にシミュレートし、SWIMを導入することができるかどうかを考察する。
我々は、プロファイルアライメントの尺度として自動エッセイスコアを用いたシミュレーションのプロンプト、教師付き微調整、強化学習手法の評価を行った。
以上の結果から,明示的監督は単独で行うよりもプロファイルアライメントを著しく向上させるが,信頼性の低い筆記法では再現が困難であることが示唆された。
論文 参考訳（メタデータ） (2026-09-02T23:10:51Z) - CLIN: an Objective Framework for Evaluating Creativity in Short Persian Literary Text [15.007368492314308]
大規模言語モデル(LLM)のアウトプットにおける創造性を評価することは、創造性が多次元で人間中心であるため、依然として困難である。
低リソース言語であるペルシャ語における短い文学的文章をLLMがいかに確実に評価するかを検討する。
TTCTによる構造的特性,例えばオリジン性, フルーエンシ, 実験ではアライメントが強いが, より主観的な次元, 特に感情や魅力には弱いことが判明した。
この次元に依存した振る舞いを動機として、構造化された創造性次元をシンプルで解釈可能なプロキシメトリクスで近似できるかどうかを考察する。
論文 参考訳（メタデータ） (2026-08-31T13:22:20Z) - PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions [48.69228180369574]
PersLitEvalは8つのきめ細かいカテゴリにわたる4,514のペルシア文学の多重選択質問のベンチマークである。
課題の難易度を3段階に分けて,カテゴリーレベルの相違が顕著であることを示す。
エラー解析では、意味的理解のギャップ、形式的言語的知識のギャップ、カウント/列挙エラーの3つの障害モードを識別する。
論文 参考訳（メタデータ） (2026-05-26T13:34:19Z) - LLMs for automatic annotation of Mandarin narrative transcripts [5.563209220962405]
転写音声の言語アノテーションは、言語習得、言語障害、社会言語学の研究に不可欠である。
本研究では,Large Language Models (LLMs) がマンダリン音声における物語のマクロ構造を確実に注釈できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-05-17T00:37:25Z) - Capabilities and Evaluation Biases of Large Language Models in Classical Chinese Poetry Generation: A Case Study on Tang Poetry [4.720025219010595]
大規模言語モデル(LLM)は、創造的領域にますます適用されつつあるが、古典中国語の詩生成や評価において、その性能はいまだによく分かっていない。
本稿では,計算量,LCM-as-a-judgeアセスメント,人間専門家による検証を組み合わせた3段階評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-17T05:00:37Z) - Evaluating the Creativity of LLMs in Persian Literary Text Generation [5.067768639196139]
我々は、20の多様なトピックにまたがるユーザー生成ペルシア文学のデータセットを構築した。
創造的思考のTorrance Testsを適応させることにより、創造性、流布性、柔軟性、実験の4つの側面に沿ったモデル出力を評価する。
論文 参考訳（メタデータ） (2025-09-22T20:32:56Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳（メタデータ） (2025-09-15T19:06:10Z) - MAS-LitEval : Multi-Agent System for Literary Translation Quality Assessment [5.703909513367545]
文学翻訳は、文化的ニュアンスと様式的な要素を保存する必要がある。
BLEUやMETEORといった従来のメトリクスは、語彙重なりに重点を置いているため、評価に失敗する。
言語モデル(LLM)を用いたマルチエージェントシステムMAS-LitEvalを提案する。
論文 参考訳（メタデータ） (2025-06-17T05:33:40Z) - Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。
以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
論文 参考訳（メタデータ） (2024-06-27T19:26:11Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳（メタデータ） (2023-01-31T18:46:19Z) - The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。
本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。
その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文 参考訳（メタデータ） (2023-01-24T02:44:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。