論文の概要: Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation
- arxiv url: http://arxiv.org/abs/2601.05835v1
- Date: Fri, 09 Jan 2026 15:10:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.995562
- Title: Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation
- Title(参考訳): 左・右・中央 : ニュース分類・生成におけるLCMフレイムの評価
- Authors: Molly Kennedy, Ali Parker, Yihong Liu, Hinrich Schütze,
- Abstract要約: 大規模言語モデル(LLM)に基づく要約とテキスト生成は、テキストの生成と書き直しにますます利用されている。
LLMの分類に基づくバイアス信号が、生成された要約におけるフレーミング行動と一致しているかを調べることで、政治的フレーミングを研究する。
記事レベルの評価と生成テキストの両方において,広汎なイデオロギー中心崩壊がみられ,中心フレーミングに対する体系的な傾向が示唆された。
- 参考スコア(独自算出の注目度): 43.42742016429181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) based summarization and text generation are increasingly used for producing and rewriting text, raising concerns about political framing in journalism where subtle wording choices can shape interpretation. Across nine state-of-the-art LLMs, we study political framing by testing whether LLMs' classification-based bias signals align with framing behavior in their generated summaries. We first compare few-shot ideology predictions against LEFT/CENTER/RIGHT labels. We then generate "steered" summaries under FAITHFUL, CENTRIST, LEFT, and RIGHT prompts, and score all outputs using a single fixed ideology evaluator. We find pervasive ideological center-collapse in both article-level ratings and generated text, indicating a systematic tendency toward centrist framing. Among evaluated models, Grok 4 is by far the most ideologically expressive generator, while Claude Sonnet 4.5 and Llama 3.1 achieve the strongest bias-rating performance among commercial and open-weight models, respectively.
- Abstract(参考訳): 大言語モデル(LLM)に基づく要約とテキスト生成は、テキストの生成と書き直しにますます使われており、微妙な単語選択が解釈を形作るジャーナリズムにおける政治的フレーミングに対する懸念が高まっている。
LLMの分類に基づくバイアス信号が、生成した要約のフレーミング行動と一致するかどうかを調べることによって、9つの最先端LCMにわたって、政治的フレーミングを研究する。
まず、LEFT/CENTER/RIGHTラベルに対して、いくつかのイデオロギー予測を比較した。
次に、FAITHFUL、CENTRIST、LEFT、RIGHTプロンプトの下で「ステアリングされた」サマリーを生成し、固定イデオロギー評価器を用いて全ての出力をスコアする。
記事レベルの評価と生成テキストの両方において,広汎なイデオロギー中心崩壊がみられ,中心フレーミングに対する体系的な傾向が示唆された。
評価されたモデルの中で、Grok 4 は最もイデオロギー的に表現力のあるジェネレータであり、Claude Sonnet 4.5 と Llama 3.1 は商用モデルとオープンウェイトモデルでそれぞれ最強のバイアスレーティング性能を達成している。
関連論文リスト
- Democratic or Authoritarian? Probing a New Dimension of Political Biases in Large Language Models [72.89977583150748]
本研究では,大規模言語モデルとより広い地政学的価値システムとの整合性を評価する新しい手法を提案する。
LLMは一般的に民主的価値観や指導者を好んでいるが、マンダリンでの権威主義的人物に対する好意が増している。
論文 参考訳(メタデータ) (2025-06-15T07:52:07Z) - BiasLab: Toward Explainable Political Bias Detection with Dual-Axis Annotations and Rationale Indicators [0.0]
BiasLabは、イデオロギー的偏見を意識した300の政治ニュース記事のデータセットである。
各記事は2つの独立したスケールでクラウドワーカーによってラベル付けされ、民主党と共和党に対する感情を評価している。
我々は、アノテータ間の合意を定量化し、ソースレベルの出口バイアスによる誤調整を分析し、その結果のラベルを解釈可能なサブセットに整理する。
論文 参考訳(メタデータ) (2025-05-21T23:50:42Z) - Through the LLM Looking Glass: A Socratic Probing of Donkeys, Elephants, and Markets [42.55423041662188]
この研究は、外部解釈に頼るのではなく、モデルのバイアスを直接測定することを目的としている。
我々の結果は、あらゆるモデルで共和党の立場よりも民主党を一貫して好んでいることを示している。
経済の話題では、西洋のLLMには偏見があるが、中国で開発されたものは社会主義に強く依存している。
論文 参考訳(メタデータ) (2025-03-20T19:40:40Z) - Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究
LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。
我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文 参考訳(メタデータ) (2025-02-17T18:59:02Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳(メタデータ) (2024-04-16T12:27:54Z) - Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。
はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。
本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T03:38:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。