論文の概要: Label Effects: Shared Heuristic Reliance in Trust Assessment by Humans and LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2604.05593v1
• Date: Tue, 07 Apr 2026 08:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.719636
• Title: Label Effects: Shared Heuristic Reliance in Trust Assessment by Humans and LLM-as-a-Judge
• Title（参考訳）: ラベル効果:人間とLLM-as-a-Judgeによる信頼度評価における共有ヒューリスティック信頼性
• Authors: Xin Sun, Di Wu, Sijing Qin, Isao Echizen, Abdallah El Ali, Saku Sugawara,
• Abstract要約: 大規模言語モデル (LLM) は自動評価器 (LLM-as-a-Judge) としてますます使われている。 この研究は、LSMによる信頼判断が開示されたソースラベルに偏っていることを示すことによって、信頼性に挑戦する。 視線追跡データは、人間が判断の手がかりとしてソースラベルに大きく依存していることを明らかにする。
• 参考スコア（独自算出の注目度）: 26.31243351014906
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used as automated evaluators (LLM-as-a-Judge). This work challenges its reliability by showing that trust judgments by LLMs are biased by disclosed source labels. Using a counterfactual design, we find that both humans and LLM judges assign higher trust to information labeled as human-authored than to the same content labeled as AI-generated. Eye-tracking data reveal that humans rely heavily on source labels as heuristic cues for judgments. We analyze LLM internal states during judgment. Across label conditions, models allocate denser attention to the label region than the content region, and this label dominance is stronger under Human labels than AI labels, consistent with the human gaze patterns. Besides, decision uncertainty measured by logits is higher under AI labels than Human labels. These results indicate that the source label is a salient heuristic cue for both humans and LLMs. It raises validity concerns for label-sensitive LLM-as-a-Judge evaluation, and we cautiously raise that aligning models with human preferences may propagate human heuristic reliance into models, motivating debiased evaluation and alignment.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、自動化評価器 (LLM-as-a-Judge) としてますます使われている。 この研究は、LSMによる信頼判断が開示されたソースラベルに偏っていることを示すことによって、信頼性に挑戦する。 対物的設計を用いて、人間とLLMの審査員は、AI生成とラベル付けされた同じコンテンツよりも、人間によってラベル付けされた情報に高い信頼を割り当てていることがわかった。 視線追跡データによると、人間は判断のためのヒューリスティックな手がかりとして、ソースラベルに大きく依存している。 LLM内部状態を判定中に解析する。 ラベル条件全体では、モデルはコンテンツ領域よりもラベル領域に注意を向け、このラベル優位性はAIラベルよりも人間ラベルの方が強く、人間の視線パターンと一致している。 さらに、ロジットによって測定される決定の不確実性は、人間ラベルよりもAIラベルの方が高い。 これらの結果は,ヒトとLDMの双方にとって,ソースラベルは健全なヒューリスティックキューであることが示唆された。 ラベルに敏感なLCM-as-a-Judge評価の妥当性を高めるとともに,人間の嗜好と整合性のあるモデルがモデルへのヒューリスティックな依存を促進し,不偏性評価とアライメントを動機付ける可能性があることを慎重に評価する。

関連論文リスト

• Text Annotation via Inductive Coding: Comparing Human Experts to LLMs in Qualitative Data Analysis [44.08932633077333]
  この研究は、6つのオープンソースの大規模言語モデル(LLM)の性能を、人間の専門家と比較して評価する。 人間のコーダーは、複雑な文をラベル付けするときに常にうまく機能するが、単純な文では苦労するが、LSMは反対の傾向を示す。
  論文  参考訳（メタデータ） (2025-11-17T13:03:27Z)
• Human-Corrected Labels Learning: Enhancing Labels Quality via Human Correction of VLMs Discrepancies [6.58446551781724]
  本稿では,VLM生成したノイズラベルを効率よく補正するHCL(Human-Corrected Labels)を提案する。 HCLは、VLMの相違のあるインスタンスに対してのみ人間の修正をデプロイし、高品質なアノテーションと労働コストの削減を実現している。 提案手法は, 分類性能が優れ, 騒音のラベル付けに頑健であり, 現実の弱い監督シナリオにおけるHCLの有効性を検証している。
  論文  参考訳（メタデータ） (2025-11-12T07:38:19Z)
• Label Distribution Learning with Biased Annotations by Learning Multi-Label Representation [120.97262070068224]
  マルチラベル学習(MLL)は,実世界のデータ表現能力に注目されている。 ラベル分布学習(LDL)は正確なラベル分布の収集において課題に直面している。
  論文  参考訳（メタデータ） (2025-02-03T09:04:03Z)
• "All that Glitters": Approaches to Evaluations with Unreliable Model and Human Annotations [0.0]
  「金」と「地底真理」のラベルには誤りがある。 本研究では、専門家による極めて低い信頼性の文脈においても、そのような疑問に答える方法を示す。
  論文  参考訳（メタデータ） (2024-11-23T19:18:08Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection [93.6222609806278]
  本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。 LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。 LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
  論文  参考訳（メタデータ） (2022-06-10T16:01:58Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。