論文の概要: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media

• arxiv url: http://arxiv.org/abs/2506.17435v1
• Date: Fri, 20 Jun 2025 18:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.412079
• Title: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media
• Title（参考訳）: リンクを超えて:LLMがグローバルメディア全体にわたって政治コンテンツを分類する能力を評価する
• Authors: Alberto Martinez-Serra, Alejandro De La Fuente, Nienke Viescher, Ana S. Cardenal,
• Abstract要約: 大きな言語モデル(LLM)の使用は、政治科学の文脈で一般的になりつつある。 LLMが5カ国の記事テキストとURLの両方から政治コンテンツ(PC)を正確に識別できるかどうかを評価する。 以上の結果から,ニュースコンテンツの大部分をURLで埋め込むことが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of large language models (LLMs) is becoming common in the context of political science, particularly in studies that analyse individuals use of digital media. However, while previous research has demonstrated LLMs ability at labelling tasks, the effectiveness of using LLMs to classify political content (PC) from just URLs is not yet well explored. The work presented in this article bridges this gap by evaluating whether LLMs can accurately identify PC vs. non-PC from both the article text and the URLs from five countries (France, Germany, Spain, the UK, and the US) and different languages. Using cutting-edge LLMs like GPT, Llama, Mistral, Deepseek, Qwen and Gemma, we measure model performance to assess whether URL-level analysis can be a good approximation for full-text analysis of PC, even across different linguistic and national contexts. Model outputs are compared with human-labelled articles, as well as traditional supervised machine learning techniques, to set a baseline of performance. Overall, our findings suggest the capacity of URLs to embed most of the news content, providing a vital perspective on accuracy-cost balancing. We also account for contextual limitations and suggest methodological recommendations to use LLMs within political science studies.
• Abstract（参考訳）: 大規模言語モデル(LLM)の使用は、政治科学の文脈、特に個人のデジタルメディアの使用を分析する研究において一般的になりつつある。 しかし、以前の研究では、LLMがタスクをラベル付けする能力を示したが、単にURLから政治コンテンツ(PC)を分類するのにLLMを使うことの有効性はまだよく研究されていない。 この記事では、LLMが5カ国(フランス、ドイツ、スペイン、イギリス、アメリカ)と異なる言語から、記事テキストとURLの両方からPC対非PCを正確に識別できるかどうかを評価することで、このギャップを埋める。 GPT,Llama,Mistral,Deepseek,Qwen,Gemmaといった最先端のLCMを用いて,異なる言語的・国家的文脈であっても,URLレベルの分析がPCのフルテキスト分析に適しているかどうかを評価する。 モデル出力は、従来の教師付き機械学習技術と同様に、人間のラベル付き記事と比較され、パフォーマンスの基準となる。 全体としては、ニュースコンテンツの大部分をURLで埋め込む能力が示唆され、精度とコストのバランスに関して重要な視点を提供する。 また、文脈的制約を考慮し、政治科学研究でLLMを使用するための方法論的勧告を提案する。

関連論文リスト

• Passing the Turing Test in Political Discourse: Fine-Tuning LLMs to Mimic Polarized Social Media Comments [0.0]
  本研究では、微調整された大言語モデル(LLM)が、偏光言説を再現し増幅できる範囲について検討する。 Redditから抽出された政治的に課金された議論のキュレートされたデータセットを使用して、オープンソースのLCMを微調整して、コンテキスト認識とイデオロギー的に整合した応答を生成します。 結果は、パルチザンのデータに基づいてトレーニングすると、LLMは高い信頼性と挑発的なコメントを生成でき、しばしば人間によって書かれたものと区別できないことを示唆している。
  論文  参考訳（メタデータ） (2025-06-17T15:41:26Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles [12.356251871670011]
  大規模言語モデル(LLM)は、タスクやドメインにまたがってますます活用されてきている。 本研究では、政治バイアスに着目し、教師付きモデルとLLMの両方を用いて検出する。 ジャーナリストの領域内ではじめて、この研究は定量化実験の枠組みを概説した。
  論文  参考訳（メタデータ） (2024-06-16T01:32:04Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
  本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。 我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
  論文  参考訳（メタデータ） (2023-12-14T18:34:06Z)
• Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents [19.65846717628022]
  大きな言語モデル(LLM)は、より良い結果と少ないプログラミングで自動化を約束します。 本研究では,政治科学の現場で遭遇する典型的複雑度を含む3つのプログラミング課題についてLLMを評価した。 もっとも優れたプロンプト戦略は、人間のプログラマに提供されるような、詳細なコードブックをLLMに提供することにある。
  論文  参考訳（メタデータ） (2023-11-20T15:34:45Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• How to use LLMs for Text Analysis [0.0]
  本稿では,社会科学における多目的テキスト分析手法としてLarge Language Models (LLM)を紹介する。 LLMは使いやすく、安価で、高速で、幅広いテキスト分析タスクに適用できるため、多くの学者はLLMがテキスト解析の方法を変えると考えている。
  論文  参考訳（メタデータ） (2023-07-24T19:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。