論文の概要: LLM Predictive Scoring and Validation: Inferring Experience Ratings from Unstructured Text

• arxiv url: http://arxiv.org/abs/2604.14321v1
• Date: Wed, 15 Apr 2026 18:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:29.983976
• Title: LLM Predictive Scoring and Validation: Inferring Experience Ratings from Unstructured Text
• Title（参考訳）: LLM予測スコーリングと検証:非構造化テキストから経験的レーティングを推定する
• Abstract要約: 我々はGPT-4.1に、野球ファンがゲームデイ体験について書いたものを読み、各ファンが0-10のサーベイスケールで与えた総合的な経験評価を予測するよう依頼した。 これらのAI予測は、メジャーリーグの5つの野球チームから約10,000人のファンが回答した実際の経験評価と比較された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We tasked GPT-4.1 to read what baseball fans wrote about their game-day experience and predict the overall experience rating each fan gave on a 0-10 survey scale. The model received only the text of a single open-ended response. These AI predictions were compared with the actual experience ratings captured by the survey instrument across approximately 10,000 fan responses from five Major League Baseball teams. In total two-thirds of predicted ratings fell within one point of self-reported fan ratings (67% within +/-1, 36% exact match), and the predicted measurement was near-deterministic across three independent scoring runs (87% exact agreement, 99.9% within +/-1). Predicted ratings aligned most strongly with the overall experience rating (r = 0.82) rather than with any specific aspect of the game-day experience such as parking, concessions, staff, etc. However, predictions were systematically lower than self-reported ratings by approximately one point, and this gap was not driven by any single aspect. Rather, our analysis shows that self-reported ratings capture the fan's verdict, an overall evaluative judgment that integrates the entire experience. While predicted ratings quantify the impact of salient moments characterized as memorable, emotionally intense, unusual, or actionable. Each measure contains information the other misses. These baseline results establish that a simple, unoptimized prompt can directionally predict how fans rate their experience from the text a fan wrote and that a gap between the two numbers can be interpreted as a construct difference worth preserving rather than an error to eliminate.
• Abstract（参考訳）: 我々はGPT-4.1に、野球ファンがゲームデイ体験について書いたものを読み、各ファンが0-10のサーベイスケールで与えた総合的な経験評価を予測するよう依頼した。 モデルは単一のオープンエンド応答のテキストのみを受け取りました。 これらのAI予測は、メジャーリーグの5つの野球チームから約10,000人のファンが回答した実際の経験評価と比較された。 予測された評価の3分の2は、自己申告されたファン評価の1ポイント以内(+/-1内67%、正確な36%)、予測された測定は3つの独立したスコアラン(正確には87%、+/-1内99.9%)でほぼ決定的であった。 予測された評価は、駐車、譲歩、スタッフなどのゲームデイ体験の特定の側面よりも、総合的な体験評価(r = 0.82)と最も強く一致している。 しかし、予測は自己申告された評価よりもほぼ1ポイント下がったため、この差はいかなる一つの側面によっても引き起こされなかった。 むしろ、我々の分析は、自己報告された評価がファンの判断を捉えていることを示している。 予測された評価は、記憶に残る、感情的に激しい、異常な、あるいは行動的なモーメントの影響を定量化する。 各測度には、他の測度が欠落する情報が含まれる。 これらのベースライン結果は、単純で最適化されていないプロンプトが、ファンが書いたテキストからファンの体験を評価する方法を方向付けして予測できることと、2つの数字間のギャップを、除去するエラーではなく、保存する価値のある構成差として解釈できることを証明している。

関連論文リスト

• Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
  回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。 13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
  論文  参考訳（メタデータ） (2026-09-09T08:37:46Z)
• SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
  SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-08-07T16:11:46Z)
• The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
  3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。 2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。 80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
  論文  参考訳（メタデータ） (2026-08-06T17:57:06Z)
• Dimensionality in Satisfaction Ratings [0.0]
  私たちは、グローバルな消費者製品会社で約9000のサポート会話のテキストに注釈をつけるために、大きな言語モデルを使用しました。 私たちは、顧客満足度をコンポーネント軸(全体、エージェント、成果、製品、顧客努力)に分解しました。 5つの軸のうち4つは、自己申告された満足度(全て、エージェント、結果)を、未調整の0.65(労力 -0.54)付近で詳細に追跡する一方、製品満足度は、利用可能なプロキシに対して弱い。
  論文  参考訳（メタデータ） (2026-07-13T02:45:35Z)
• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• Decoupling Scores and Text: The Politeness Principle in Peer Review [0.0]
  著者はしばしばピアレビューのフィードバックを解釈するのに苦労し、丁寧なコメントから誤った希望を導き、特定の低いスコアで混乱していると感じている。 我々は,3万件以上のICLR 2021-2025のデータセットを構築し,数値スコアを用いた受入予測性能とテキストレビューを比較した。 スコアベースモデルでは91%,テキストベースモデルでは81%,大規模言語モデルでは81%であった。
  論文  参考訳（メタデータ） (2026-03-23T11:58:48Z)
• Mitigating the Participation Bias by Balancing Extreme Ratings [3.5785450878667597]
  我々は、参加バイアスの下で、ロバストな評価集計タスクについて検討する。 私たちの目標は、集計された評価と、基礎となるすべての評価の平均との間の2乗損失を最小化することです。
  論文  参考訳（メタデータ） (2025-02-06T02:58:46Z)
• Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
  評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。 本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:29:23Z)
• WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild [57.272096543738336]
  WildBenchは、大規模言語モデル(LLM)のベンチマーク用に設計された自動評価フレームワークである。 WildBenchは、100万以上の人間チャットボットの会話ログから慎重に選択された1,024のタスクで構成されている。 We have developed two metrics, WB-Reward and WB-Score which are computeable using Advanced LLMs。
  論文  参考訳（メタデータ） (2024-06-07T09:15:44Z)
• A NLP Approach to "Review Bombing" in Metacritic PC Videogames User Ratings [0.0]
  このような場合に出現する主語や概念を理解し、検証セット上で0.88の精度に達するよう努めている。 この現象を誘発するパターンを解明し分析することで、これらの状況をさらに緩和することができる。
  論文  参考訳（メタデータ） (2024-05-10T08:31:04Z)
• Learning Personalized Alignment for Evaluating Open-ended Text Generation [44.565686959174585]
  PerSEは、特定の人間の好みに合わせてアライメントを評価するために設計された解釈可能な評価フレームワークである。 テキスト内個人プロファイルから特定の好みを推測し、生成されたコンテンツと個人の好みとの整合性を評価するように調整される。 当社の13B LLaMA-2ベースのPerSEは、ケダル相関が15.8%増加し、ゼロショットレビュアーによる13.7%の精度向上を示している。
  論文  参考訳（メタデータ） (2023-10-05T04:15:48Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Evaluation of soccer team defense based on prediction models of ball recovery and being attacked [0.8921166277011345]
  本研究では,ボールの回復と攻撃の予測に基づいて,チーム防御を評価する手法を提案する。 45試合のデータを用いて,提案する指標とチームパフォーマンスの関係を検討した。
  論文  参考訳（メタデータ） (2021-03-17T13:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。