論文の概要: Beyond Surface Judgments: Human-Grounded Risk Evaluation of LLM-Generated Disinformation

• arxiv url: http://arxiv.org/abs/2604.06820v1
• Date: Wed, 08 Apr 2026 08:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.429852
• Title: Beyond Surface Judgments: Human-Grounded Risk Evaluation of LLM-Generated Disinformation
• Title（参考訳）: 表面判断を超えて: LLM生成情報の人為的リスク評価
• Abstract要約: 本稿では,判断-人的アライメントを,総合スコア,項目レベルの順序付け,信号依存の観点から検討する。 人間とは対照的に、審査員は通常より厳格で、アイテムレベルの人間のランキングは弱く回復するだけであり、異なるテキスト信号に依存している。 同時に、審査員は人間の読者よりもはるかに多くの意見が一致している。
• 参考スコア（独自算出の注目度）: 26.636844671170422
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) can generate persuasive narratives at scale, raising concerns about their potential use in disinformation campaigns. Assessing this risk ultimately requires understanding how readers receive such content. In practice, however, LLM judges are increasingly used as a low-cost substitute for direct human evaluation, even though whether they faithfully track reader responses remains unclear. We recast evaluation in this setting as a proxy-validity problem and audit LLM judges against human reader responses. Using 290 aligned articles, 2,043 paired human ratings, and outputs from eight frontier judges, we examine judge--human alignment in terms of overall scoring, item-level ordering, and signal dependence. We find persistent judge--human gaps throughout. Relative to humans, judges are typically harsher, recover item-level human rankings only weakly, and rely on different textual signals, placing more weight on logical rigour while penalizing emotional intensity more strongly. At the same time, judges agree far more with one another than with human readers. These results suggest that LLM judges form a coherent evaluative group that is much more aligned internally than it is with human readers, indicating that internal agreement is not evidence of validity as a proxy for reader response.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模に説得力のある物語を生成でき、偽情報キャンペーンにおける彼らの潜在的使用に対する懸念を提起する。 このリスクを評価するには、最終的に読者がそのようなコンテンツを受け取る方法を理解する必要がある。 しかし、実際には、読者の反応を忠実に追跡しているかどうかは不明ながら、LSMの審査員は、直接人的評価の低コスト代用として、ますます利用されている。 我々は,この設定で評価をプロキシ妥当性問題として再放送し,LLM審査員を人間読者の反応に対して評価する。 290項目,2,043対の人間格付け,および8人のフロンティア判事からの出力を用いて,総点数,項目レベルの順序付け,信号依存度の観点から,判断-人格整合性を検討した。 私たちは、絶え間ない判断と人間のギャップを見つけます。 人間とは対照的に、審査員は通常より厳しく、アイテムレベルの人間のランクは弱く回復するだけであり、異なるテキスト信号に依存し、論理的な厳密さに重みをつけながら、感情的な強度をより強く罰する。 同時に、審査員は人間の読者よりもはるかに多くの意見が一致している。 これらの結果から, LLM審査員は, 内部合意が, 読者反応のプロキシとしての妥当性の証拠ではないことを示すとともに, 内部合意よりも, 内部合意よりも内部整合性が高いコヒーレント評価グループを形成することが示唆された。

関連論文リスト

• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• How Long Reasoning Chains Influence LLMs' Judgment of Answer Factuality [9.19183567561999]
  大規模言語モデル(LLM)は、人間の評価のためのスケーラブルなサロゲートとして広く採用されているが、そのような判断は依然として不完全であり、表面レベルの偏見に影響を受けやすい。 推論可能なモデルの増加に伴い、ジェネレータの推論内容を判断者に公開することで、よりリッチな情報を提供し、判定精度を向上させるための自然な候補となる。 弱い裁判官は存在を推論することで容易に揺れるが、強い裁判官は情報的証拠として推論を部分的に活用できる。
  論文  参考訳（メタデータ） (2026-04-08T07:21:18Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
  大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。 本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。 我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:52:29Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions [18.93335792080899]
  LLMs-as-a-judgeがAI判断と人間の判断の整合性に与える影響について検討する。 我々は、LLMによる最先端評価で一般的に使用される品質基準の分類を集約し、それを審査員として厳密なモデルベンチマークとして提供する。
  論文  参考訳（メタデータ） (2024-08-16T14:49:35Z)
• Humans or LLMs as the Judge? A Study on Judgement Biases [17.069314000437537]
  本稿では, LLM および人間審査員に対する誤情報監視バイアス, ジェンダーバイアス, オーソリティバイアス, 美容バイアスを調査するための基礎的アノテーションの参照が不要な新しい枠組みを提案する。 その結果、人間とLLMの裁判官は様々な程度に摂動に弱いこと、そして最先端の裁判官でさえかなりの偏見を持っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-16T13:21:06Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。