論文の概要: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media
- arxiv url: http://arxiv.org/abs/2506.17435v2
- Date: Tue, 04 Nov 2025 14:41:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:26.345356
- Title: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media
- Title（参考訳）: リンクを超えて:LLMがグローバルメディア全体にわたって政治コンテンツを分類する能力を評価する
- Authors: Alejandro De La Fuente-Cuesta, Alberto Martinez-Serra, Nienke Visscher, Laia Castro, Ana S. Cardenal,
- Abstract要約: 本稿では,5ヶ国にわたるニュース記事のテキストとURLを用いて,大規模言語モデル(LLM)がPCと非PCを正確に区別できるかどうかを評価する。
最先端モデルを用いて、URLレベルの解析がフルテキスト解析を近似できるかどうかを評価するために、人間の符号化データに対して性能をベンチマークする。
以上の結果から,URLが関連する情報を埋め込んで,PCを識別する代わりに,スケーラブルで費用対効果の高い代替手段として機能することが示唆された。
- 参考スコア（独自算出の注目度）: 37.149543017244234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of large language models (LLMs) is becoming common in political science and digital media research. While LLMs have demonstrated ability in labelling tasks, their effectiveness to classify Political Content (PC) from URLs remains underexplored. This article evaluates whether LLMs can accurately distinguish PC from non-PC using both the text and the URLs of news articles across five countries (France, Germany, Spain, the UK, and the US) and their different languages. Using cutting-edge models, we benchmark their performance against human-coded data to assess whether URL-level analysis can approximate full-text analysis. Our findings show that URLs embed relevant information and can serve as a scalable, cost-effective alternative to discern PC. However, we also uncover systematic biases: LLMs seem to overclassify centrist news as political, leading to false positives that may distort further analyses. We conclude by outlining methodological recommendations on the use of LLMs in political science research.
- Abstract（参考訳）: 大規模言語モデル(LLM)の使用は、政治科学やデジタルメディア研究で一般的になっている。
LLMはタスクをラベル付けする能力を示したが、政治コンテンツ(PC)をURLから分類する効果は未定のままである。
本稿は,5カ国(フランス,ドイツ,スペイン,イギリス,アメリカ)のニュース記事のテキストとURLの両方を用いて,PCとPCを正確に区別できるかどうかを論じる。
最先端モデルを用いて、URLレベルの解析がフルテキスト解析を近似できるかどうかを評価するために、人間の符号化データに対して性能をベンチマークする。
以上の結果から,URLが関連する情報を埋め込んで,PCを識別する代わりに,スケーラブルで費用対効果の高い代替手段として機能することが示唆された。
LLMは、センシティブニュースを政治的に過度に分類しているようで、さらなる分析を歪めるかもしれない偽陽性につながる。
我々は、政治科学研究におけるLLMの使用に関する方法論的勧告を概説して結論づける。
関連論文リスト
- Passing the Turing Test in Political Discourse: Fine-Tuning LLMs to Mimic Polarized Social Media Comments [0.0]
本研究では、微調整された大言語モデル(LLM)が、偏光言説を再現し増幅できる範囲について検討する。
Redditから抽出された政治的に課金された議論のキュレートされたデータセットを使用して、オープンソースのLCMを微調整して、コンテキスト認識とイデオロギー的に整合した応答を生成します。
結果は、パルチザンのデータに基づいてトレーニングすると、LLMは高い信頼性と挑発的なコメントを生成でき、しばしば人間によって書かれたものと区別できないことを示唆している。
論文 参考訳（メタデータ） (2025-06-17T15:41:26Z) - Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles [12.356251871670011]
大規模言語モデル(LLM)は、タスクやドメインにまたがってますます活用されてきている。
本研究では、政治バイアスに着目し、教師付きモデルとLLMの両方を用いて検出する。
ジャーナリストの領域内ではじめて、この研究は定量化実験の枠組みを概説した。
論文 参考訳（メタデータ） (2024-06-16T01:32:04Z) - Large Language Models: A Survey [66.39828929831017]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。
我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
論文 参考訳（メタデータ） (2023-12-14T18:34:06Z) - Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents [19.65846717628022]
大きな言語モデル(LLM)は、より良い結果と少ないプログラミングで自動化を約束します。
本研究では,政治科学の現場で遭遇する典型的複雑度を含む3つのプログラミング課題についてLLMを評価した。
もっとも優れたプロンプト戦略は、人間のプログラマに提供されるような、詳細なコードブックをLLMに提供することにある。
論文 参考訳（メタデータ） (2023-11-20T15:34:45Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - How to use LLMs for Text Analysis [0.0]
本稿では,社会科学における多目的テキスト分析手法としてLarge Language Models (LLM)を紹介する。
LLMは使いやすく、安価で、高速で、幅広いテキスト分析タスクに適用できるため、多くの学者はLLMがテキスト解析の方法を変えると考えている。
論文 参考訳（メタデータ） (2023-07-24T19:54:15Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z) - ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models [78.08792285698853]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。
実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文 参考訳（メタデータ） (2022-05-03T14:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。