論文の概要: SAGE: A Hierarchical Framework for Evaluating Interpretive Literary Quality in Narratives
- arxiv url: http://arxiv.org/abs/2609.06611v1
- Date: Sun, 06 Sep 2026 13:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.271088
- Title: SAGE: A Hierarchical Framework for Evaluating Interpretive Literary Quality in Narratives
- Title（参考訳）: SAGE: 物語における解釈的文学的品質評価のための階層的枠組み
- Abstract要約: SAGEは,規則に基づく可観測特性の評価と解釈品質の評価を分離する6層評価フレームワークである。
感情-心理学的表現は人間のレベルに近づき、文化的批判と哲学的深さはおよそ2倍のギャップを示す。
我々は、パターンマッチングだけでは提供できない文化的位置付けと哲学的エンゲージメントを求める姿勢要求と、コーパスの訓練から学習可能なパターン再現可能な文学能力の境界と解釈する。
- 参考スコア（独自算出の注目度）: 6.2431177303574295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Assessing the literary quality of narratives requires evaluating interpretive dimensions (cultural representation, emotional depth, and philosophical engagement) that existing NLG metrics cannot measure. We introduce SAGE, a six-layer evaluation framework that separates rule-based assessment of observable textual properties from LLM-based evaluation of interpretive qualities drawn from cultural theory, affect theory, and existentialist philosophy. Each interpretive layer is assessed through multi-round iterative LLM evaluation with independent cross-validation, achieving measurement-grade reliability (98.8% convergence, >94% inter-rater agreement) stable across evaluator models. Validated on 600 evaluations across 100 short stories, our central finding is a systematic capability boundary: emotional-psychological representation approaches human levels, while cultural critique and philosophical depth exhibit approximately double the gap. LLM-generated narratives score below even commercial genre fiction on all three layers. We interpret this as a boundary between pattern-reproducible literary capacities learnable from training corpora and stance-requiring ones demanding cultural positioning and philosophical engagement that pattern matching alone cannot provide.
- Abstract（参考訳）: 物語の文学的品質を評価するには、既存のNLGメトリクスが測定できない解釈的次元(文化的表現、感情的深度、哲学的エンゲージメント)を評価する必要がある。
SAGEは、ルールに基づく可観測的テキスト特性の評価と、文化理論、影響論、存在主義哲学から引き出された解釈的品質の評価とを分離した6層評価フレームワークである。
各解釈層は、独立したクロスバリデーションによる多ラウンド繰り返しLCM評価により評価され、評価器モデル間で安定な測定グレードの信頼性(98.8%収束、>94%相互合意)が達成される。
感情心理学的表現は人間のレベルに近づき、文化的批判と哲学的深さはおよそ2倍のギャップを示す。
LLMが生み出した物語は、3層全てで商業ジャンルのフィクションよりも低い。
我々は、パターンマッチングだけでは提供できない文化的位置付けと哲学的エンゲージメントを求める姿勢要求と、コーパスの訓練から学習可能なパターン再現可能な文学能力の境界と解釈する。
関連論文リスト
- Do LLMs Understand Personality? Rethinking Persona Fidelity Evaluation through Structured Behavioral Inference [21.264274413987575]
PRISM(Persona Reasoning with Inverse SFL-based Modeling)は、ペルソナの忠実度評価を構造化逆推論タスクとして再構成する精神言語学的基盤を持つフレームワークである。
Systemic Functional Linguistics (SFL) にインスパイアされたPRISMは、ペルソナの忠実度を3つの機能次元(タスク・フラーミング、対人スタンス、言語スタイル)に分解する。
実験により、PRISMは従来の全体的判断よりも正確で安定した判断をもたらし、ペルソナの忠実度評価のための信頼性の高い枠組みを提供することが示された。
論文 参考訳（メタデータ） (2026-08-27T06:27:51Z) - A Survey of Large Language Models for Perception and Measurement of Human Psychology [55.608047817598965]
中心的な問題は、大規模言語モデルが複雑で潜伏した人間の心理的構造を正確に知覚し、測定する能力を持っているかどうかである。
本稿では,人間の心理測定機器としてのLSMの使用に着目した系統的なレビューを行う。
論文 参考訳（メタデータ） (2026-05-20T14:54:09Z) - SAGE: Hierarchical LLM-Based Literary Evaluation through Ontology-Grounded Interpretive Dimensions [6.2431177303574295]
文学的品質を評価するには、文化的表現、感情的な深さ、哲学的洗練などの解釈的な側面を評価する必要がある。
本稿では,文学的品質を分かりやすい解釈次元に分解する階層的評価フレームワークであるSAGEを紹介する。
論文 参考訳（メタデータ） (2026-05-08T01:30:02Z) - Towards a Linguistic Evaluation of Narratives: A Quantitative Stylistic Framework [51.56484100374058]
本研究は, 品質の指標としての言語的次元に着目し, ナラティブアセスメントに対する定量的アプローチを提案する。
本稿では,33種類の定量的言語的特徴を包括的に抽出し,物語の自動評価手法を提案する。
論文 参考訳（メタデータ） (2026-04-21T09:21:40Z) - Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective [4.313916831146957]
認知科学と言語理論では、対話は独立した発話の連鎖ではなく、一貫性、一貫性、共通理解によって維持される共同活動である。
評価手法としてパーソナライズされた対話のための顕著な検索強化フレームワークであるLAPDOGを再検討する。
論文 参考訳（メタデータ） (2026-03-15T04:36:16Z) - Capabilities and Evaluation Biases of Large Language Models in Classical Chinese Poetry Generation: A Case Study on Tang Poetry [4.720025219010595]
大規模言語モデル(LLM)は、創造的領域にますます適用されつつあるが、古典中国語の詩生成や評価において、その性能はいまだによく分かっていない。
本稿では,計算量,LCM-as-a-judgeアセスメント,人間専門家による検証を組み合わせた3段階評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-17T05:00:37Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey [64.08485471150486]
本研究では,大規模言語モデル(LLM)に基づくマルチターン対話環境におけるエージェントの評価手法について検討する。
我々は250近い学術資料を体系的にレビューし、様々な出版場所から芸術の状態を捉えた。
論文 参考訳（メタデータ） (2025-03-28T14:08:40Z) - Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs [7.802103248428407]
我々は,現在の調査に基づく評価手法の背景にある3つの仮定を特定し,検証する。
提示形式間の不安定性,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性などについて検討した。
論文 参考訳（メタデータ） (2025-03-11T17:59:53Z) - Evaluating Large Language Models with Psychometrics [59.821829073478376]
本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。
私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。
LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。
語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。
我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文 参考訳（メタデータ） (2024-04-19T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。