論文の概要: Do Reviewers Still Reward Lexical Complexity? A Frozen-Rater Study of Preference Drift in 124K ICLR Reviews
- arxiv url: http://arxiv.org/abs/2609.08475v1
- Date: Tue, 08 Sep 2026 09:19:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.625222
- Title: Do Reviewers Still Reward Lexical Complexity? A Frozen-Rater Study of Preference Drift in 124K ICLR Reviews
- Title（参考訳）: レビュアーはいまだに語彙の複雑さを抑えるか? 124K ICLRレビューにおける選好ドリフトの研究
- Abstract要約: 大規模な言語モデルでは、語彙的に精巧な散文を生成するコストが低下している。
人間は依然として文長の変動に報いるが、フリーズレーダは決して登録しない。
すべてのクレームは、偽発見制御と区間排除の二重ゲートに保持される。
- 参考スコア（独自算出の注目度）: 3.290003022017626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have collapsed the cost of producing lexically elaborate prose, and whether peer reviewers still reward it is a question about the evaluator, not about the text. When the association between a writing cue and review scores moves across years, the reviewers may have changed, the submissions may have changed, or both, and a regression of scores on text cannot say which. We separate the two with a frozen rater: 81,850 machine reviews of ICLR submissions from 2018 to 2025, all generated in one February-April 2025 window with one model family and one prompt, so that its year-to-year coefficients track submission composition alone and the human-minus-frozen trend difference identifies reviewer preference drift. On 32,638 submissions with 124,615 human reviews, the human coefficient on non-domain lexical complexity falls from +0.142 to -0.015 while the frozen rater moves from +0.080 to +0.082; the three-way difference-in-differences is -0.0100 (q=0.013), and forty random-wordlist placebos through the same specification centre on zero. Humans still reward sentence-length variability, which the frozen rater never registers, while the frozen rater still pays for lexical complexity at its earlier rate. Every claim is held to a double gate of false-discovery control and interval exclusion, and the findings that failed adversarial re-testing are reported. Reviewers discounted a cue whose production cost collapsed, as models of manipulable signals prescribe; an LLM judge calibrated to historical human preferences inherits the earlier schedule and drifts out of alignment while its agreement with humans on totals stays ordinary.
- Abstract（参考訳）: 大規模言語モデルは、語彙的に精巧な散文を生成するコストを低下させており、ピアレビュアーがまだ報いるかどうかは、テキストではなく評価者に関する問題である。
筆記キューとレビュースコアの関連が年々変化すると、レビュアーは変更され、提出書は変更され、または両方になり、テキスト上でのスコアの回帰は、どれを言うことができない。
我々は、2018年から2025年までの81,850件のICLR提出の機械レビューを、それぞれ1つのモデルファミリと1つのプロンプトを持つ1つの2025年2月から4月にかけて1つのウィンドウで作成した。
124,638人のレビューによる32,638件の提出では、非ドメインの語彙的複雑性の人的係数は+0.142から-0.015に、凍結されたレーダは+0.080から+0.082に、三方向の差分差分は-0.0100(q=0.013)、ランダムな単語リストのプラセボは0である。
凍結レートラーは決して登録しないが、凍結レートラーは以前のレートで語彙の複雑さを補償する。
すべてのクレームは、偽発見制御と区間排除の二重ゲートに保持され、相手の再検査に失敗した結果が報告される。
審査員は、操作可能な信号のモデルが規定されているため、生産コストが低下したキューを割引した。
関連論文リスト
- Beyond Lexical Metrics: Sentence-Embedding Detection of Reviewer Habituation in AI Code Review [2.9152186617858304]
我々は11,429件のレビューと10,104件のAIによる人間によるインラインコメントを比較した。
審査員の早期の承認率は30.5%から後期の36.6%に上昇した。
語彙多様性、シャノンエントロピー、技術的特異性、建設的行動可能性の4つの手作り言語的特徴は、露光の奇形全体で単調な減少を示さない。
論文 参考訳（メタデータ） (2026-09-05T18:15:18Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。
このエンドポイントは、報告するスケールでは特定されない。
我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
論文 参考訳（メタデータ） (2026-08-27T16:10:16Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - Historical Backtesting for Scientific Question Discovery: A Protocol and Astronomy Pilot [0.5028072215868231]
我々は、時間的に分離されたコーパス、凍結した質問、監査可能なラベル、4つの基準ベースライン、および入力インターフェースを備えた再現可能な天文学のインスタンスをリリースする。
2026-08-17(2027-2030)を凍結した200の質問が公表された。
論文 参考訳（メタデータ） (2026-08-17T16:51:06Z) - Why Summaries Turn Neutral: Policy Attribution for Sentiment Drift in Reinforcement Learning from Human Feedback [46.49327788332846]
人間のフィードバックによる強化学習(RLHF)は、LLMを人間の好みと整合させ、要約と安全性を向上させる。
RLHFサマリーはより高い報酬を得るが、Reddit TL;DRとCNN/DailyMailでは30-40%の感情差を示す。
要約品質を損なうことなく18～22%のドリフトを削減できる感情認識正則化手法を提案し,検証した。
論文 参考訳（メタデータ） (2026-08-16T04:56:03Z) - Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。
ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。
提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
論文 参考訳（メタデータ） (2026-06-14T16:13:15Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳（メタデータ） (2026-05-07T13:55:11Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。