論文の概要: Ask More, Hear Less: How a Review Prompt Changes What Online Ratings Show
- arxiv url: http://arxiv.org/abs/2611.02623v1
- Date: Mon, 02 Nov 2026 06:50:10 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:50:51.75489
- Title: Ask More, Hear Less: How a Review Prompt Changes What Online Ratings Show
- Title（参考訳）: オンラインのレーティングがどう変わるか、もっと聞いてみよう
- Abstract要約: 批評家との合意は、発売間近でほとんど変わっていない。
最初の2時間に書かれたレビューからのパススルーは、しきい値のちょうど上の0.73から0.18に該当する。
レビューを求めるプラットフォームは 評価ラベルを見直しるべきです
- 参考スコア（独自算出の注目度）: 4.327699139300453
- License:
- Abstract: Platforms ask customers for online reviews to reduce self-selection, but theory conflicts on whether review solicitation makes online ratings more or less informative. Selection theory implies that asking helps, voice theory that it dilutes the news, and research on rating inflation that compression destroys information. We reconcile these views with signal detection theory, which separates what a rating knows (its sensitivity) from what it shows (its criterion). We test the framework on Steam, a leading PC video game store, whose client began in October 2019 to prompt players for a review after about three hours of play. Using a difference-in-discontinuities design at that inferred threshold in 21.6 million Steam reviews of 315 games, we find that review counts just above the threshold become 4.25 times those just below, and the jump in the positive share grows by 6.6 percentage points. Agreement with critics changes little near launch and erodes later. The rating's movement changes far more: pass-through from reviews written in the first two hours falls from 0.73 to 0.18 just above the threshold, against 0.81 to 0.64 just below, and a fixed rating tier responds to 12% of downturns in those reviews above the threshold, down from 42%, against 41% and 47% below it. What the stream knows changes less. At equal review counts its sensitivity falls more above the threshold, because added reviews respond about half as much and scores near the ceiling are noisier per review, but at natural counts added volume offsets this loss, leaving a change of -0.03 relative to the stream below (95% CI -0.13 to 0.06). Failures that developers acknowledge, which run through complaints, still move the score after launch. Review prompts therefore mainly change how a rating must be read, and platforms that solicit reviews should recalibrate their rating labels.
- Abstract（参考訳）: プラットフォームは、オンラインレビューに自己選択を減らすよう顧客に求めるが、レビューの勧誘によってオンライン評価が多かれ少なかれ情報的になるかどうかについては理論上の矛盾がある。
選択理論は、質問の助け、それがニュースを希釈する音声理論、そして圧縮が情報を破壊する評価インフレーションの研究を意味する。
我々はこれらの見解を信号検出理論と照合し、評価が知っているもの(感度)と示すもの(基準)を区別する。
われわれは、Steamでこのフレームワークをテストした。このPCゲームストアは、2019年10月にクライアントとして始まり、約3時間のプレイの後、プレーヤーにレビューを促す。
315試合の21.6万回のSteamレビューにおいて、その推定しきい値における差分不連続設計を用いて、レビュー回数が閾値の4.25倍となり、正のシェアが6.6%上昇することがわかった。
批評家との合意は、発売間近でほとんど変わっていない。
最初の2時間に書かれたレビューからのパススルーは、閾値の直ぐ上の0.73から0.18に減少し、0.81から0.64に下がった。
ストリームが知っていることは、変化が少なくなる。
平等なレビューでは、その感度はしきい値よりも高く、追加のレビューは、レビューごとに半分ほど反応し、天井付近のスコアはノイズが多いが、自然のカウントではボリュームが減って、以下のストリーム(95% CI-0.13から0.06)に対して0.03の変化が残っている。
デベロッパーが不満を乗り越えていると認める失敗は、ローンチ後もスコアを移動させる。
したがって、レビューのプロンプトは主に評価の読み方を変え、レビューを求めるプラットフォームは評価ラベルを再分類する必要がある。
関連論文リスト
- Rebuttals Move Peer-Review Scores, but Initial-Review Structure Bounds the Movement [4.413510318562841]
著者の反論はピアレビューの主要な投稿後ウィンドウであるが、レビュアーのスコアに対する影響は測定が難しいままである。
ICLR 2024-2025 は 73,000 個のレビュア・トラジェクトリを用いて,外部にアーカイブされた前・後スコアを用いて検討した。
論文 参考訳（メタデータ） (2026-06-20T17:55:48Z) - ReviewScore: Misinformed Peer Review Detection with Large Language Models [38.92827930465428]
15.2%の弱点と26.4%の質問が誤記されていることを示し、レビューポイントが誤記されているかどうかを示すReviewScoreを紹介した。
人間の専門家によるReviewScoreデータセットを構築し、LLMがReviewScore評価を自動化する能力をチェックする。
また、前提レベルの事実性を評価することは、弱点レベルの事実性を評価するよりも、はるかに高い合意を示すことを示す。
論文 参考訳（メタデータ） (2025-09-25T22:55:05Z) - LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10～20ポイント向上する。
論文 参考訳（メタデータ） (2025-04-15T10:07:33Z) - Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳（メタデータ） (2025-04-13T22:01:25Z) - Prioritizing App Reviews for Developer Responses on Google Play [1.5771347525430772]
2013年以降、Google Playは開発者がユーザーレビューに応答できるようにしてきた。
13%から18%の開発者がこのプラクティスに従事しています。
応答優先度に基づいてレビューを優先順位付けする手法を提案する。
論文 参考訳（メタデータ） (2025-02-03T16:56:08Z) - Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。
本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
論文 参考訳（メタデータ） (2024-08-20T14:29:23Z) - Reviews in motion: a large scale, longitudinal study of review
recommendations on Yelp [24.34131115451651]
我々は、プラットフォームがレビューのためにフィルタリング決定を変更する「再分類」に焦点を当てる。
私たちは1250万以上のレビューをコンパイルします。
我々のデータは、人口密度の低下と低中間所得地域の変化により、再分類における人口格差が示唆されている。
論文 参考訳（メタデータ） (2022-02-18T03:27:53Z) - ConTrip: Consensus Sentiment review Analysis and Platform ratings in a
single score [0.0]
私たちは、コンセンサススコアと、アイテムのプラットフォーム全体の評価をマージする、ConTripという新しいコンセンサス価値を導き出します。
ConTripは評価範囲の値にあるため、平等に評価された体験を区別する能力を維持しながら、より解釈しやすい。
論文 参考訳（メタデータ） (2022-01-06T15:50:34Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。