論文の概要: LLM Predictive Scoring and Validation: Inferring Experience Ratings from Unstructured Text

• arxiv url: http://arxiv.org/abs/2604.14321v1
• Date: Wed, 15 Apr 2026 18:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:29.983976
• Title: LLM Predictive Scoring and Validation: Inferring Experience Ratings from Unstructured Text
• Title（参考訳）: LLM予測スコーリングと検証:非構造化テキストから経験的レーティングを推定する
• Authors: Jason Potteiger, Andrew Hong, Ito Zapata,
• Abstract要約: 我々はGPT-4.1に、野球ファンがゲームデイ体験について書いたものを読み、各ファンが0-10のサーベイスケールで与えた総合的な経験評価を予測するよう依頼した。 これらのAI予測は、メジャーリーグの5つの野球チームから約10,000人のファンが回答した実際の経験評価と比較された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We tasked GPT-4.1 to read what baseball fans wrote about their game-day experience and predict the overall experience rating each fan gave on a 0-10 survey scale. The model received only the text of a single open-ended response. These AI predictions were compared with the actual experience ratings captured by the survey instrument across approximately 10,000 fan responses from five Major League Baseball teams. In total two-thirds of predicted ratings fell within one point of self-reported fan ratings (67% within +/-1, 36% exact match), and the predicted measurement was near-deterministic across three independent scoring runs (87% exact agreement, 99.9% within +/-1). Predicted ratings aligned most strongly with the overall experience rating (r = 0.82) rather than with any specific aspect of the game-day experience such as parking, concessions, staff, etc. However, predictions were systematically lower than self-reported ratings by approximately one point, and this gap was not driven by any single aspect. Rather, our analysis shows that self-reported ratings capture the fan's verdict, an overall evaluative judgment that integrates the entire experience. While predicted ratings quantify the impact of salient moments characterized as memorable, emotionally intense, unusual, or actionable. Each measure contains information the other misses. These baseline results establish that a simple, unoptimized prompt can directionally predict how fans rate their experience from the text a fan wrote and that a gap between the two numbers can be interpreted as a construct difference worth preserving rather than an error to eliminate.
• Abstract（参考訳）: 我々はGPT-4.1に、野球ファンがゲームデイ体験について書いたものを読み、各ファンが0-10のサーベイスケールで与えた総合的な経験評価を予測するよう依頼した。 モデルは単一のオープンエンド応答のテキストのみを受け取りました。 これらのAI予測は、メジャーリーグの5つの野球チームから約10,000人のファンが回答した実際の経験評価と比較された。 予測された評価の3分の2は、自己申告されたファン評価の1ポイント以内(+/-1内67%、正確な36%)、予測された測定は3つの独立したスコアラン(正確には87%、+/-1内99.9%)でほぼ決定的であった。 予測された評価は、駐車、譲歩、スタッフなどのゲームデイ体験の特定の側面よりも、総合的な体験評価(r = 0.82)と最も強く一致している。 しかし、予測は自己申告された評価よりもほぼ1ポイント下がったため、この差はいかなる一つの側面によっても引き起こされなかった。 むしろ、我々の分析は、自己報告された評価がファンの判断を捉えていることを示している。 予測された評価は、記憶に残る、感情的に激しい、異常な、あるいは行動的なモーメントの影響を定量化する。 各測度には、他の測度が欠落する情報が含まれる。 これらのベースライン結果は、単純で最適化されていないプロンプトが、ファンが書いたテキストからファンの体験を評価する方法を方向付けして予測できることと、2つの数字間のギャップを、除去するエラーではなく、保存する価値のある構成差として解釈できることを証明している。

関連論文リスト

• Mitigating the Participation Bias by Balancing Extreme Ratings [3.5785450878667597]
  我々は、参加バイアスの下で、ロバストな評価集計タスクについて検討する。 私たちの目標は、集計された評価と、基礎となるすべての評価の平均との間の2乗損失を最小化することです。
  論文  参考訳（メタデータ） (2025-02-06T02:58:46Z)
• Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
  評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。 本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:29:23Z)
• WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild [57.272096543738336]
  WildBenchは、大規模言語モデル(LLM)のベンチマーク用に設計された自動評価フレームワークである。 WildBenchは、100万以上の人間チャットボットの会話ログから慎重に選択された1,024のタスクで構成されている。 We have developed two metrics, WB-Reward and WB-Score which are computeable using Advanced LLMs。
  論文  参考訳（メタデータ） (2024-06-07T09:15:44Z)
• A NLP Approach to "Review Bombing" in Metacritic PC Videogames User Ratings [0.0]
  このような場合に出現する主語や概念を理解し、検証セット上で0.88の精度に達するよう努めている。 この現象を誘発するパターンを解明し分析することで、これらの状況をさらに緩和することができる。
  論文  参考訳（メタデータ） (2024-05-10T08:31:04Z)
• Learning Personalized Alignment for Evaluating Open-ended Text Generation [44.565686959174585]
  PerSEは、特定の人間の好みに合わせてアライメントを評価するために設計された解釈可能な評価フレームワークである。 テキスト内個人プロファイルから特定の好みを推測し、生成されたコンテンツと個人の好みとの整合性を評価するように調整される。 当社の13B LLaMA-2ベースのPerSEは、ケダル相関が15.8%増加し、ゼロショットレビュアーによる13.7%の精度向上を示している。
  論文  参考訳（メタデータ） (2023-10-05T04:15:48Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Evaluation of soccer team defense based on prediction models of ball recovery and being attacked [0.8921166277011345]
  本研究では,ボールの回復と攻撃の予測に基づいて,チーム防御を評価する手法を提案する。 45試合のデータを用いて,提案する指標とチームパフォーマンスの関係を検討した。
  論文  参考訳（メタデータ） (2021-03-17T13:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。