論文の概要: Decoupling Scores and Text: The Politeness Principle in Peer Review

• arxiv url: http://arxiv.org/abs/2604.14162v1
• Date: Mon, 23 Mar 2026 11:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.686742
• Title: Decoupling Scores and Text: The Politeness Principle in Peer Review
• Title（参考訳）: スコアとテキストの分離: ピアレビューにおけるポリテネスの原則
• Authors: Yingxuan Wen,
• Abstract要約: 著者はしばしばピアレビューのフィードバックを解釈するのに苦労し、丁寧なコメントから誤った希望を導き、特定の低いスコアで混乱していると感じている。 我々は,3万件以上のICLR 2021-2025のデータセットを構築し,数値スコアを用いた受入予測性能とテキストレビューを比較した。 スコアベースモデルでは91%,テキストベースモデルでは81%,大規模言語モデルでは81%であった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Authors often struggle to interpret peer review feedback, deriving false hope from polite comments or feeling confused by specific low scores. To investigate this, we construct a dataset of over 30,000 ICLR 2021-2025 submissions and compare acceptance prediction performance using numerical scores versus text reviews. Our experiments reveal a significant performance gap: score-based models achieve 91% accuracy, while text-based models reach only 81% even with large language models, indicating that textual information is considerably less reliable. To explain this phenomenon, we first analyze the 9% of samples that score-based models fail to predict, finding their score distributions exhibit high kurtosis and negative skewness, which suggests that individual low scores play a decisive role in rejection even when the average score falls near the borderline. We then examine why text-based accuracy significantly lags behind scores from a review sentiment perspective, revealing the prevalence of the Politeness Principle: reviews of rejected papers still contain more positive than negative sentiment words, masking the true rejection signal and making it difficult for authors to judge outcomes from text alone.
• Abstract（参考訳）: 著者はしばしばピアレビューのフィードバックを解釈するのに苦労し、丁寧なコメントから誤った希望を導き、特定の低いスコアで混乱していると感じている。 そこで本研究では,3万件以上のICLR 2021-2025提案のデータセットを構築し,数値スコアを用いた受入予測性能とテキストレビューを比較した。 スコアベースモデルは91%の精度を達成し,テキストベースモデルは大きな言語モデルであっても81%にしか達せず,テキスト情報の信頼性が著しく低いことを示す。 この現象を説明するために、まず、スコアベースモデルが予測できないサンプルの9%を分析し、スコア分布が高いカルテシスと負の歪みを示すことを発見し、平均スコアが境界線付近に落ちても、個々の低いスコアが拒否に決定的な役割を果たすことを示唆した。 そこで,本論文のレビューは,否定的な感情表現よりも肯定的であり,真の拒絶シグナルを隠蔽し,著者がテキスト単独による結果の判断を困難にしている。

関連論文リスト

• LLM Essay Scoring Under Holistic and Analytic Rubrics: Prompt Effects and Bias [3.9562034587217187]
  我々は、人間のコンセンサススコア、方向性バイアス、バイアス推定の安定性との一致を分析した。 我々は,グラマーやコンベンションなどの低次懸念(LOC)特性に対して,大規模かつ安定な負の方向性バイアスを観察する。 この分析は、LOCバイアスが極めて小さな検証セットでしばしば検出可能であることを示している。
  論文  参考訳（メタデータ） (2026-03-31T21:40:36Z)
• Aligned Textual Scoring Rules [14.705645899416117]
  エージェントの観点からは、真の信念を報告することが期待されるスコアを最大化するならば、スコアリングルールは適切である。 本論文は、適切なスコアリングルールと基準スコアの平均二乗誤差を最適化し、最小化することにより、テキストのアラインド・スコーリング・ルール(ASR)を設計する。
  論文  参考訳（メタデータ） (2025-07-08T17:53:22Z)
• Structured Reasoning for Fairness: A Multi-Agent Approach to Bias Detection in Textual Data [0.0]
  本稿では,各文を事実あるいは意見として切り離して識別するマルチエージェントフレームワークを提案する。 改良された検出精度と解釈可能な説明を組み合わせることで、現代の言語モデルにおける説明責任を促進する。
  論文  参考訳（メタデータ） (2025-03-01T05:27:54Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• Human Feedback is not Gold Standard [28.63384327791185]
  我々は、トレーニングと評価の両方において、人間のフィードバックの使用を批判的に分析する。 選好スコアはかなり良いカバレッジを持っているが、事実性のような重要な側面は低く表現されている。
  論文  参考訳（メタデータ） (2023-09-28T11:18:20Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。