論文の概要: Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging

• arxiv url: http://arxiv.org/abs/2609.13773v1
• Date: Sat, 12 Sep 2026 07:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.547353
• Title: Does Reasoning Improve Psychological Depth in Large Language Models? It Depends on Who's Judging
• Title（参考訳）: 推論は大規模言語モデルにおける心理的深度を改善するか?
• Abstract要約: 短い物語において、心理学的深度を通して失敗モードを研究する。 審査員の、その開発セットにおける人間の評価との相関は、アウトプットが密に一致し、人間の嗜好が主観的である場合、有効な測定を保証できない可能性がある。 これらの結果から, 開発段階の性能は, シフト分布におけるデプロイメントの有効性の証拠として不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 41.62710134204231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-Judge evaluators are increasingly used to score open-ended generation, yet a judge's correlation with human ratings on its development set may not guarantee valid measurement when outputs are closely matched and human preferences are subjective. We study this failure mode through psychological depth in short stories. Seven human readers and an LLM-judge ensemble selected on the original scalar Psychological Depth Scale dataset ($ρ= 0.646$) evaluated 60 blinded, prompt-matched story pairs from GPT-5 vs.\ GPT-4o and DeepSeek-R1 vs.\ DeepSeek-V3. Human preferences showed no universal reasoning advantage: GPT-5 was modestly preferred over GPT-4o (60.0--62.9\%), whereas DeepSeek-R1 trailed V3 (42.9\%), and inter-reader agreement was near chance (Krippendorff's $α= 0.070$), with within-reader consistency and recurring weighting patterns suggesting structured heterogeneity rather than random responding. The judge, by contrast, favored reasoning outputs in 89.0\% of dimension-level comparisons and 59 of 60 pairs on aggregate PDS, uniformly across all five evaluator configurations, and its scores were associated with surface features such as sentence length and lexical diversity. These results suggest that development-set performance is insufficient evidence for deployment validity on a shifted distribution, and that point-estimate judges can obscure the heterogeneity in subjective human evaluation.
• Abstract（参考訳）: LLM-as-a-Judge評価器は、オープン・エンド・ジェネレーション(英語版)の評価にますます使用されるが、審査員の、その開発セット上の人間格付けとの相関は、アウトプットが密に一致し、人間の嗜好が主観的である場合に、有効な測定を保証しない可能性がある。 我々は、この失敗モードを短い物語の心理的深度を通して研究する。 7人の人間読者と1人のLLM-judgeアンサンブルが、オリジナルのスカラー心理学的深度尺度(ρ=0.646$)で選ばれた。 GPT-4oとDeepSeek-R1 vs。 ディープSeek-V3。 GPT-5 は GPT-4o (60.0--62.9\%) よりもわずかに好まれていたが、DeepSeek-R1 は V3 (42.9\%) に後れを取っており、読者間合意(Krippendorff's $α= 0.070$) に近づいた。 対照的に、裁判官は5つの評価器構成の全てに一様に存在する次元レベルの比較89.0\%と集合PSD上の60対59の推論出力を好んで用い、そのスコアは文の長さや語彙の多様性といった表面的特徴と関連づけられた。 これらの結果から, 現像セットの性能は, 移動分布における展開の有効性の証拠として不十分であることが示唆され, 主観的人的評価において, 不均一性を曖昧にすることができることが示唆された。

関連論文リスト

• As It Was: Aligning LLM Search Evaluation with Historical User Preferences [10.704343230963877]
  本稿では,各検索ページを軽量かつ監査可能な動作前で拡張する行動接地型LCM判定手法を提案する。 Spotifyの楽曲検索評価では,行動判断による判断がユーザの好みと強く一致している。 5つの言語にまたがる多言語ヒューマン・ジャッジデータセットでは、グラウンド化により、人間関係判定との相関が15%増加する。
  論文  参考訳（メタデータ） (2026-07-01T15:05:10Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines [0.0]
  4つのプロバイダファミリーの5つの審査モデルに対して,9つのデバイアスング戦略を比較した。 スタイルバイアスは支配的バイアス(全モデルで0.76-0.92)であり、位置バイアス(=0.04)をはるかに超えている。 統合予算戦略により、Claude Sonnet 4 は+11.2 pp (p 0.0001) に大幅に改善され、他のモデルの方向性に好意的な傾向が見られた。
  論文  参考訳（メタデータ） (2026-04-25T07:18:30Z)
• Relational Preference Encoding in Looped Transformer Internal States [0.0]
  ループ変換器は内部の反復状態においてどのように人間の嗜好を符号化するかを検討する。 繰り返し洗練された2.6Bパラメータループ変換器であるOuro-2.6B-Thinkingを用いて,各ループ繰り返しから隠れた状態を抽出する。 我々は、HH-RLHFデータセット上で人間の嗜好を予測するために軽量評価器ヘッドを訓練する。 我々のペアワイズ評価器は8,552個の未確認例に対して95.2%の精度を達成し、ベースモデルは完全に凍結されている間に全バッチのL-BFGSプローブ(84.5%)を上回った。
  論文  参考訳（メタデータ） (2026-04-10T20:00:49Z)
• Aligning to Illusions: Choice Blindness in Human and AI Feedback [2.912535004465788]
  人間の選択失明研究では、過度にスワップされた好みの91%が発見されず、選択失明は不慣れなテキストの第三者による評価比較にまで及ぶ。 検出は、真の自己監視ではなく、浅いテキストマッチングに依存している。 2つのアーキテクチャにわたる線量応答実験では、報奨信号が半減する前にラベルの6分の1から3分の1を破損させなければならない。 Best-of-N評価では、これは下流の政策劣化につながると確認されている。
  論文  参考訳（メタデータ） (2026-03-09T14:10:36Z)
• Measuring Psychological Depth in Language Models [50.48914935872879]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Learning Personalized Alignment for Evaluating Open-ended Text Generation [44.565686959174585]
  PerSEは、特定の人間の好みに合わせてアライメントを評価するために設計された解釈可能な評価フレームワークである。 テキスト内個人プロファイルから特定の好みを推測し、生成されたコンテンツと個人の好みとの整合性を評価するように調整される。 当社の13B LLaMA-2ベースのPerSEは、ケダル相関が15.8%増加し、ゼロショットレビュアーによる13.7%の精度向上を示している。
  論文  参考訳（メタデータ） (2023-10-05T04:15:48Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• How Human is Human Evaluation? Improving the Gold Standard for NLG with Utility Theory [47.10283773005394]
  我々は、$textitsystem-level probabilistic Assessment$ (SPA)と呼ばれる新しい評価プロトコルを提案する。 SPAによると、アノテータは予想通り、より小さなものよりもGPT-3の変種を好んでおり、全ての比較は統計的に有意である。 我々の実験では、SPAによれば、アノテーターは予想したより小さいものよりも大きな GPT-3 の変種を好んでおり、全ての比較は統計的に有意である。
  論文  参考訳（メタデータ） (2022-05-24T09:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。