Fugu-MT 論文翻訳(概要): The Reader is the Metric: How Textual Features and Reader Profiles Explain Conflicting Evaluations of AI Creative Writing

論文の概要: The Reader is the Metric: How Textual Features and Reader Profiles Explain Conflicting Evaluations of AI Creative Writing

arxiv url: http://arxiv.org/abs/2506.03310v1
Date: Tue, 03 Jun 2025 18:50:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-05 21:20:14.011908
Title: The Reader is the Metric: How Textual Features and Reader Profiles Explain Conflicting Evaluations of AI Creative Writing
Title（参考訳）: The Reader is the Metric: How Textual Features and Reader Profiles Explainting Conflicting Evaluations of AI Creative Writings
Authors: Guillermo Marco, Julio Gonzalo, Víctor Fresno,
Abstract要約: 我々は5つの公開データセット(1,471ストーリー、101アノテータ、批評家、学生、レイリーダー)を使って17の参照なしテキストの特徴を抽出します。我々は、個々の読み手の好みをモデル化し、テキストの優先順位を反映した特徴重要ベクトルを導出する。本研究は,文学的品質の測定が,文章の特徴と読み手の好みがどのように一致しているかを定量的に説明するものである。
参考スコア（独自算出の注目度）: 1.3654846342364306
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies comparing AI-generated and human-authored literary texts have produced conflicting results: some suggest AI already surpasses human quality, while others argue it still falls short. We start from the hypothesis that such divergences can be largely explained by genuine differences in how readers interpret and value literature, rather than by an intrinsic quality of the texts evaluated. Using five public datasets (1,471 stories, 101 annotators including critics, students, and lay readers), we (i) extract 17 reference-less textual features (e.g., coherence, emotional variance, average sentence length...); (ii) model individual reader preferences, deriving feature importance vectors that reflect their textual priorities; and (iii) analyze these vectors in a shared "preference space". Reader vectors cluster into two profiles: 'surface-focused readers' (mainly non-experts), who prioritize readability and textual richness; and 'holistic readers' (mainly experts), who value thematic development, rhetorical variety, and sentiment dynamics. Our results quantitatively explain how measurements of literary quality are a function of how text features align with each reader's preferences. These findings advocate for reader-sensitive evaluation frameworks in the field of creative text generation.
Abstract（参考訳）: AIは人間の品質をすでに上回っていると示唆する人もいれば、それはまだ不足していると主張する人もいる。我々は,本文の本質的な品質よりも,読者の解釈と価値文学の解釈の真の違いによって,そのような相違が大半を説明できるという仮説から始める。 5つの公開データセット(1,471ストーリー、101アノテータ、批評家、学生、レイリーダーを含む)を用いて一参照なしテクストの特徴(例えば、コヒーレンス、感情的分散、平均文長...)を抽出すること。 (二個々の読取者の嗜好をモデル化し、テキスト優先を反映した特徴重要度ベクトルを導出すること。) (iii)これらのベクトルを共有の「参照空間」で解析する。読者ベクターは、読みやすさと文章の豊かさを優先する「表層中心の読者」(主に非専門家)と、主題的発達、修辞的多様性、感情力学を重んじる「全体的読者」(主に専門家)の2つのプロファイルに集約される。本研究は,文学的品質の測定が,文章の特徴と読み手の好みがどのように一致しているかを定量的に説明するものである。これらの知見は、創造的テキスト生成の分野で読者に感応する評価フレームワークを提唱する。

関連論文リスト

BookWorm: A Dataset for Character Description and Analysis [59.186325346763184]
本稿では,短い事実プロファイルを生成する文字記述と,詳細な解釈を提供する文字解析という2つのタスクを定義する。本稿では,Gutenbergプロジェクトからの書籍と,人間による記述と分析のペアリングを行うBookWormデータセットを紹介する。その結果,検索に基づくアプローチは両タスクにおいて階層的アプローチよりも優れていた。
論文参考訳（メタデータ） (2024-10-14T10:55:58Z)
A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。 1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文参考訳（メタデータ） (2024-02-20T11:28:50Z)
ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
論文参考訳（メタデータ） (2024-01-24T09:07:11Z)
Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文参考訳（メタデータ） (2022-10-18T10:03:51Z)
Textual Stylistic Variation: Choices, Genres and Individuals [0.8057441774248633]
この章では、テキストコレクションのスタイリスティックな変動の統計処理のためのより情報的なターゲットメトリクスを論じている。本章ではジャンルごとの変奏について論じ、個々の選択による変奏と対比する。
論文参考訳（メタデータ） (2022-05-01T16:39:49Z)
Computational analyses of the topics, sentiments, literariness, creativity and beauty of texts in a large Corpus of English Literature [0.0]
Gutenberg Literary English Corpus (GLEC)は、デジタル人文科学、計算言語学、神経認知詩学の研究のための豊富なテキストデータソースを提供する。 GLECの6つのテキストカテゴリのトピックと感情分析の結果を報告する。100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,100,3,3,3</i
論文参考訳（メタデータ） (2022-01-12T08:16:52Z)
Modeling Social Readers: Novel Tools for Addressing Reception from Online Book Reviews [0.0]
5つの人気小説のレビューのコーパスを使用して、小説のメインストーリーラインの読者の蒸留を研究します。無限語彙ネットワークの研究に3つの重要な貢献をしている。本稿では、レビューから集約された部分軌跡に基づいてイベントのコンセンサスシーケンスを生成する新しいシーケンシングアルゴリズムREV2SEQを提案する。
論文参考訳（メタデータ） (2021-05-03T20:10:14Z)
Quasi Error-free Text Classification and Authorship Recognition in a large Corpus of English Literature based on a Novel Feature Set [0.0]
GLECの準誤りのないテキスト分類とオーサシップ認識は,同一の5つのスタイルと5つのコンテンツ特徴を用いた手法で可能であることを示す。我々のデータは、心理学を読むための文学や実験の、多くの未来の計算および実証的研究の道を開く。
論文参考訳（メタデータ） (2020-10-21T07:39:55Z)
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文参考訳（メタデータ） (2020-10-13T21:33:24Z)
A Comparative Study of Feature Types for Age-Based Text Classification [3.867363075280544]
年齢によるフィクションテキストの分類作業における言語的特徴の多種多様性の比較を行った。その結果,文書レベルでテキストを記述する特徴は,機械学習モデルの品質を著しく向上させることができることがわかった。
論文参考訳（メタデータ） (2020-09-24T18:41:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。