論文の概要: Label Over Logic? How Source Cues Bias Human Fallacy Judgments More Than LLMs

• arxiv url: http://arxiv.org/abs/2605.29928v2
• Date: Wed, 03 Jun 2026 17:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 17:40:41.560587
• Title: Label Over Logic? How Source Cues Bias Human Fallacy Judgments More Than LLMs
• Title（参考訳）: 論理学のラベル? LLMよりも人間の誤りを判断する情報源
• Authors: Mahjabin Nahar, Nafis Irtiza Tripto, Aiping Xiong, Ting-Hao 'Kenneth' Huang, Dongwon Lee,
• Abstract要約: 我々は、推論評価におけるソースラベルバイアスが主に人間の脆弱性であるかどうかを評価する。 我々の研究は、AIを介する環境における人間とLLMのコラボレーションの可能性を強調した。
• 参考スコア（独自算出の注目度）: 17.420529906099503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI-generated and AI-assisted content floods online spaces, source labels attached to such content can distort human reasoning judgments, with downstream consequences for moderation, evaluation, and decision-making. Whether LLMs share this vulnerability, or offer more source-agnostic evaluation, remains an open question with direct implications for human-AI collaboration. We examine this issue using logical fallacies as a controlled setting to isolate source-label effects on reasoning quality, independent of domain knowledge. We conduct an online study (N=505) where participants are assigned to a source condition (human, AI, human with AI assistance, AI with human assistance, or no disclosure) and evaluate comments containing logical fallacies, comparing their judgments with those of LLMs (GPT-5.2, Gemini 2.5 Flash, Claude Sonnet 4.5), who were evaluated across the same source conditions. Human evaluators were significantly more susceptible to fallacies labeled as written by human or human with AI assistance and assigned higher trust and evaluation ratings in these conditions. LLM evaluations remained comparatively stable across source labels, though performance varied across models. Confidence levels were similarly high across conditions for both humans and LLMs, regardless of fallacy presence. Our findings indicate that source-label bias in reasoning evaluation is primarily a human vulnerability and highlight the potential of human-LLM collaboration in increasingly AI-mediated environments.
• Abstract（参考訳）: AIが生成し、AIが支援するコンテンツがオンライン空間に溢れているため、そうしたコンテンツに添付されたソースラベルは、モデレーション、評価、意思決定のための下流の結果によって、人間の推論判断を歪めてしまう可能性がある。 LLMがこの脆弱性を共有しているのか、あるいはよりソースに依存しない評価を提供しているのかは、人間とAIのコラボレーションに直接的な意味を持つ。 ドメイン知識に依存しない推論品質に対するソースラベルの影響を分離するための制御された設定として論理的誤認を用いたこの問題について検討する。 我々は、参加者がソース条件(人間、AI、AI支援、人手によるAI、開示なし)に割り当てられるオンライン調査(N=505)を行い、同じソース条件で評価されたLPM(GPT-5.2、Gemini 2.5 Flash、Claude Sonnet 4.5)と比較し、論理的誤信を含むコメントを評価する。 人間の評価者は、AI支援によって人間や人間によって書かれたとラベル付けされた誤認にかなり敏感であり、これらの条件下で高い信頼と評価の格付けを割り当てた。 LLMの評価は、モデルによって異なるが、ソースラベル間で比較的安定していた。 信頼度は, 劣等性の有無にかかわらず, 人間とLLMの両方の条件でも同様に高かった。 我々の研究結果は、推論評価におけるソースラベルバイアスは、主に人間の脆弱性であり、AIを介する環境における人間とLLMのコラボレーションの可能性を強調していることを示唆している。

関連論文リスト

• Label Effects: Shared Heuristic Reliance in Trust Assessment by Humans and LLM-as-a-Judge [26.31243351014906]
  大規模言語モデル (LLM) は自動評価器 (LLM-as-a-Judge) としてますます使われている。 この研究は、LSMによる信頼判断が開示されたソースラベルに偏っていることを示すことによって、信頼性に挑戦する。 視線追跡データは、人間が判断の手がかりとしてソースラベルに大きく依存していることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-07T08:43:30Z)
• When Should Humans Step In? Optimal Human Dispatching in AI-Assisted Decisions [2.7755032786791003]
  我々は,人間-AI協調のための一般的な意思決定理論の枠組みを提案する。 我々は、AIアセスメントを要因レベルの信号として扱い、人間の判断を、選択的に取得できるコストの高い情報として扱う。 当社のフレームワークをAI支援ピアレビューに適用する。
  論文  参考訳（メタデータ） (2026-03-14T01:47:38Z)
• Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
  大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。 現在のLSMは、人間に対する信頼の欠如を示す。 本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T06:22:19Z)
• Human aversion? Do AI Agents Judge Identity More Harshly Than Performance [0.06554326244334868]
  我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。 AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
  論文  参考訳（メタデータ） (2025-03-31T02:05:27Z)
• On Benchmarking Human-Like Intelligence in Machines [77.55118048492021]
  現在のAI評価パラダイムは、人間のような認知能力を評価するには不十分である、と我々は主張する。 人為的なラベルの欠如、人間の反応の多様性と不確実性の表現の不適切な表現、単純で生態学的に無意味なタスクへの依存。
  論文  参考訳（メタデータ） (2025-02-27T20:21:36Z)
• The Decoy Dilemma in Online Medical Information Evaluation: A Comparative Study of Credibility Assessments by LLM and Human Judges [4.65004369765875]
  大規模言語モデル(LLM)がどの程度「合理的に」振舞うかは明らかになっていない。 LLMエージェントに埋め込まれた認知バイアスのリスクを実証的に確認した。 AIエージェントのデバイアスの複雑さと重要性を強調します。
  論文  参考訳（メタデータ） (2024-11-23T00:43:27Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated [48.70176791365903]
  本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
  論文  参考訳（メタデータ） (2024-09-29T04:31:45Z)
• Six Fallacies in Substituting Large Language Models for Human Participants [0.0]
  大規模言語モデル(LLM)のようなAIシステムは、行動研究や心理学研究における人間の参加者を置き換えることができるのだろうか? ここでは「置き換え」の観点を批判的に評価し、その妥当性を損なう6つの解釈誤りを識別する。 それぞれの誤りは、LSMとは何か、人間の認知について何を教えてくれるのかについて、潜在的な誤解を表している。
  論文  参考訳（メタデータ） (2024-02-06T23:28:23Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。