論文の概要: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media

• arxiv url: http://arxiv.org/abs/2506.17435v2
• Date: Tue, 04 Nov 2025 14:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.345356
• Title: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media
• Title（参考訳）: リンクを超えて:LLMがグローバルメディア全体にわたって政治コンテンツを分類する能力を評価する
• Authors: Alejandro De La Fuente-Cuesta, Alberto Martinez-Serra, Nienke Visscher, Laia Castro, Ana S. Cardenal,
• Abstract要約: 本稿では,5ヶ国にわたるニュース記事のテキストとURLを用いて,大規模言語モデル(LLM)がPCと非PCを正確に区別できるかどうかを評価する。 最先端モデルを用いて、URLレベルの解析がフルテキスト解析を近似できるかどうかを評価するために、人間の符号化データに対して性能をベンチマークする。 以上の結果から,URLが関連する情報を埋め込んで,PCを識別する代わりに,スケーラブルで費用対効果の高い代替手段として機能することが示唆された。
• 参考スコア（独自算出の注目度）: 37.149543017244234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of large language models (LLMs) is becoming common in political science and digital media research. While LLMs have demonstrated ability in labelling tasks, their effectiveness to classify Political Content (PC) from URLs remains underexplored. This article evaluates whether LLMs can accurately distinguish PC from non-PC using both the text and the URLs of news articles across five countries (France, Germany, Spain, the UK, and the US) and their different languages. Using cutting-edge models, we benchmark their performance against human-coded data to assess whether URL-level analysis can approximate full-text analysis. Our findings show that URLs embed relevant information and can serve as a scalable, cost-effective alternative to discern PC. However, we also uncover systematic biases: LLMs seem to overclassify centrist news as political, leading to false positives that may distort further analyses. We conclude by outlining methodological recommendations on the use of LLMs in political science research.
• Abstract（参考訳）: 大規模言語モデル(LLM)の使用は、政治科学やデジタルメディア研究で一般的になっている。 LLMはタスクをラベル付けする能力を示したが、政治コンテンツ(PC)をURLから分類する効果は未定のままである。 本稿は,5カ国(フランス,ドイツ,スペイン,イギリス,アメリカ)のニュース記事のテキストとURLの両方を用いて,PCとPCを正確に区別できるかどうかを論じる。 最先端モデルを用いて、URLレベルの解析がフルテキスト解析を近似できるかどうかを評価するために、人間の符号化データに対して性能をベンチマークする。 以上の結果から,URLが関連する情報を埋め込んで,PCを識別する代わりに,スケーラブルで費用対効果の高い代替手段として機能することが示唆された。 LLMは、センシティブニュースを政治的に過度に分類しているようで、さらなる分析を歪めるかもしれない偽陽性につながる。 我々は、政治科学研究におけるLLMの使用に関する方法論的勧告を概説して結論づける。

関連論文リスト

• Passing the Turing Test in Political Discourse: Fine-Tuning LLMs to Mimic Polarized Social Media Comments [0.0]
  本研究では、微調整された大言語モデル(LLM)が、偏光言説を再現し増幅できる範囲について検討する。 Redditから抽出された政治的に課金された議論のキュレートされたデータセットを使用して、オープンソースのLCMを微調整して、コンテキスト認識とイデオロギー的に整合した応答を生成します。 結果は、パルチザンのデータに基づいてトレーニングすると、LLMは高い信頼性と挑発的なコメントを生成でき、しばしば人間によって書かれたものと区別できないことを示唆している。
  論文  参考訳（メタデータ） (2025-06-17T15:41:26Z)
• Democratic or Authoritarian? Probing a New Dimension of Political Biases in Large Language Models [72.89977583150748]
  本研究では,大規模言語モデルとより広い地政学的価値システムとの整合性を評価する新しい手法を提案する。 LLMは一般的に民主的価値観や指導者を好んでいるが、マンダリンでの権威主義的人物に対する好意が増している。
  論文  参考訳（メタデータ） (2025-06-15T07:52:07Z)
• Through the LLM Looking Glass: A Socratic Probing of Donkeys, Elephants, and Markets [42.55423041662188]
  この研究は、外部解釈に頼るのではなく、モデルのバイアスを直接測定することを目的としている。 我々の結果は、あらゆるモデルで共和党の立場よりも民主党を一貫して好んでいることを示している。 経済の話題では、西洋のLLMには偏見があるが、中国で開発されたものは社会主義に強く依存している。
  論文  参考訳（メタデータ） (2025-03-20T19:40:40Z)
• Political-LLM: Large Language Models in Political Science [159.95299889946637]
  大規模言語モデル(LLM)は、政治科学のタスクで広く採用されている。 政治LLMは、LLMを計算政治科学に統合する包括的な理解を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-09T08:47:50Z)
• Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths? [2.321323878201932]
  政治的誤報は民主的プロセスに挑戦し、世論を形成し、メディアを信頼する。 本研究では,ニュース記事の政治的事実を検出するための信頼性アノテータとして,最先端の大規模言語モデル (LLM) を用いることを検討した。
  論文  参考訳（メタデータ） (2024-11-08T18:36:33Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles [12.356251871670011]
  大規模言語モデル(LLM)は、タスクやドメインにまたがってますます活用されてきている。 本研究では、政治バイアスに着目し、教師付きモデルとLLMの両方を用いて検出する。 ジャーナリストの領域内ではじめて、この研究は定量化実験の枠組みを概説した。
  論文  参考訳（メタデータ） (2024-06-16T01:32:04Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• The Political Preferences of LLMs [0.0]
  私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。 ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。 LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
  論文  参考訳（メタデータ） (2024-02-02T02:43:10Z)
• Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
  本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。 我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
  論文  参考訳（メタデータ） (2023-12-14T18:34:06Z)
• Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents [19.65846717628022]
  大きな言語モデル(LLM)は、より良い結果と少ないプログラミングで自動化を約束します。 本研究では,政治科学の現場で遭遇する典型的複雑度を含む3つのプログラミング課題についてLLMを評価した。 もっとも優れたプロンプト戦略は、人間のプログラマに提供されるような、詳細なコードブックをLLMに提供することにある。
  論文  参考訳（メタデータ） (2023-11-20T15:34:45Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• How to use LLMs for Text Analysis [0.0]
  本稿では,社会科学における多目的テキスト分析手法としてLarge Language Models (LLM)を紹介する。 LLMは使いやすく、安価で、高速で、幅広いテキスト分析タスクに適用できるため、多くの学者はLLMがテキスト解析の方法を変えると考えている。
  論文  参考訳（メタデータ） (2023-07-24T19:54:15Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
  本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
  論文  参考訳（メタデータ） (2022-05-03T14:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。