論文の概要: Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles

• arxiv url: http://arxiv.org/abs/2606.06715v1
• Date: Thu, 04 Jun 2026 21:05:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.446425
• Title: Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles
• Title（参考訳）: 話題感はイデオロギーに影響を及ぼすか? : 政治ニュース記事における人間とLLMアノテーションの比較
• Authors: Upasana Chatterjee,
• Abstract要約: 我々は、話題感情が政治的イデオロギーの認知に因果的影響を及ぼすかどうかを問う。 我々は、専門家のアノテータ、GPT-4o-mini(ベースラインおよび微調整)、Llama-3.3-70Bのイデオロギーラベルを比較した。 人間のアノテーションはコミュニティレベルで有意な因果関係を生じさせない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We ask whether topic sentiment has a causal effect on perceived political ideology, and whether the answer depends on who assigns the ideology label. Using articles from AllSides, paired with shared sentiment annotations from Llama-3.3-70b-versatile, we compare ideology labels from expert human annotators, GPT-4o-mini (baseline and finetuned), and Llama-3.3-70B. We apply Double Machine Learning (DML) and community-level mediation analysis across all four annotation paradigms. Human annotations yield no significant causal effects at the community level. Fine-tuned GPT-4o-mini achieves the highest classification accuracy (F1=72.48) and is the only annotator paradigm that produces significant community-level treatment effects and significant natural direct effects (NDEs) in mediation. We interpret this as evidence of shortcut learning: fine-tuning on ideology-labeled data causes the model to internalise a spurious sentiment--ideology coupling not operative in human judgment for this task. This coupling is structurally invisible to F1-based evaluation, with implications for the use of LLM annotations as silver labels and as proxies for human judgment in downstream causal analyses.
• Abstract（参考訳）: 我々は、話題感情が政治的イデオロギーの認知に因果的影響を及ぼすのか、その答えが誰がイデオロギーのラベルを割り当てるかによって異なるのかを問う。 Llama-3.3-70b-versatileの共有感情アノテーションと組み合わせたAllSidesの記事を用いて、専門家のアノテータ、GPT-4o-mini、Llama-3.3-70Bのイデオロギーラベルを比較した。 本稿では,Double Machine Learning(DML)とコミュニティレベルの調停分析を4つのパラダイムすべてに適用する。 人間のアノテーションはコミュニティレベルで有意な因果関係を生じさせない。 微調整のGPT-4o-miniは最も高い分類精度(F1=72.48)を達成し、メディエーションにおいて重要なコミュニティレベルの治療効果と重要な自然直接効果(NDE)をもたらす唯一のアノテータパラダイムである。 我々は、これをショートカット学習の証拠と解釈する:イデオロギーをラベル付けしたデータの微調整により、モデルが突発的な感情-イデオロギー結合を内部化する。 この結合は、F1に基づく評価では構造的に見えず、LLMアノテーションを銀のラベルとして、下流因果解析における人間の判断のプロキシとして用いることが示唆されている。

関連論文リスト

• Widespread Gender and Pronoun Bias in Moral Judgments Across LLMs [0.37331950863394847]
  大規模言語モデル (LLMs) は、道徳的または倫理的なステートメントを評価するためにますます用いられる。 本研究は, 文法的人, 数, 性別的マーカーが, 公平性のLLM道徳的分類にどのように影響するかを, 制御された文レベルで研究する。
  論文  参考訳（メタデータ） (2026-03-13T22:42:37Z)
• Persona Prompting as a Lens on LLM Social Reasoning [5.001433675691563]
  ヘイトスピーチ検出のような社会的に敏感なタスクでは、LLM(Large Language Models)による説明の質が不可欠である。 パーソナプロンプト(PP)は、ユーザ固有の生成に向けてモデルを操る手段として、ますます用いられるようになっているが、モデル理性に対する効果はいまだに未解明である。
  論文  参考訳（メタデータ） (2026-01-28T16:41:17Z)
• Ideology-Based LLMs for Content Moderation [3.8439345751986913]
  大規模言語モデル(LLM)は、コンテンツモデレーションシステムでますます使われている。 本研究では,ペルソナ導入が有害コンテンツ分類の一貫性と公平性にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-10-29T06:22:50Z)
• Hateful Person or Hateful Model? Investigating the Role of Personas in Hate Speech Detection by Large Language Models [47.110656690979695]
  本稿では,ヘイトスピーチ分類におけるペルソナプロンプトの役割に関する総合的研究について紹介する。 人間による注釈調査では、MBTIの寸法がラベル付け行動に大きく影響していることが確認されている。 分析の結果,人間関係の相違,対人関係の相違,対人関係の偏り,対人関係の偏りなどが明らかとなった。
  論文  参考訳（メタデータ） (2025-06-10T09:02:55Z)
• Source framing triggers systematic evaluation bias in Large Language Models [0.0]
  本研究は、4つの最先端大規模言語モデル(LLM)におけるモデル間およびモデル内合意を体系的に検討する。 盲目状態では、異なるLLMがトピック間でのモデル間およびモデル間合意を著しく高めていることが分かる。 その結果, フレーミング効果はテキスト評価に深く影響し, LLMによる情報システムの完全性, 中立性, 公平性に重要な影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-14T07:42:27Z)
• Fairness Mediator: Neutralize Stereotype Associations to Mitigate Bias in Large Language Models [66.5536396328527]
  LLMは必然的にトレーニングデータから急激な相関関係を吸収し、偏りのある概念と特定の社会的グループの間のステレオタイプ的関連をもたらす。 ステレオタイプアソシエーションを中和するバイアス緩和フレームワークであるFairness Mediator (FairMed)を提案する。 本フレームワークは, ステレオタイプアソシエーションプローバーと, 対向型デバイアス中和剤の2つの主成分からなる。
  論文  参考訳（メタデータ） (2025-04-10T14:23:06Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。