論文の概要: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media

• arxiv url: http://arxiv.org/abs/2506.17435v1
• Date: Fri, 20 Jun 2025 18:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.412079
• Title: Beyond the Link: Assessing LLMs' ability to Classify Political Content across Global Media
• Title（参考訳）: リンクを超えて:LLMがグローバルメディア全体にわたって政治コンテンツを分類する能力を評価する
• Authors: Alberto Martinez-Serra, Alejandro De La Fuente, Nienke Viescher, Ana S. Cardenal,
• Abstract要約: 大きな言語モデル(LLM)の使用は、政治科学の文脈で一般的になりつつある。 LLMが5カ国の記事テキストとURLの両方から政治コンテンツ(PC)を正確に識別できるかどうかを評価する。 以上の結果から,ニュースコンテンツの大部分をURLで埋め込むことが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of large language models (LLMs) is becoming common in the context of political science, particularly in studies that analyse individuals use of digital media. However, while previous research has demonstrated LLMs ability at labelling tasks, the effectiveness of using LLMs to classify political content (PC) from just URLs is not yet well explored. The work presented in this article bridges this gap by evaluating whether LLMs can accurately identify PC vs. non-PC from both the article text and the URLs from five countries (France, Germany, Spain, the UK, and the US) and different languages. Using cutting-edge LLMs like GPT, Llama, Mistral, Deepseek, Qwen and Gemma, we measure model performance to assess whether URL-level analysis can be a good approximation for full-text analysis of PC, even across different linguistic and national contexts. Model outputs are compared with human-labelled articles, as well as traditional supervised machine learning techniques, to set a baseline of performance. Overall, our findings suggest the capacity of URLs to embed most of the news content, providing a vital perspective on accuracy-cost balancing. We also account for contextual limitations and suggest methodological recommendations to use LLMs within political science studies.
• Abstract（参考訳）: 大規模言語モデル(LLM)の使用は、政治科学の文脈、特に個人のデジタルメディアの使用を分析する研究において一般的になりつつある。 しかし、以前の研究では、LLMがタスクをラベル付けする能力を示したが、単にURLから政治コンテンツ(PC)を分類するのにLLMを使うことの有効性はまだよく研究されていない。 この記事では、LLMが5カ国(フランス、ドイツ、スペイン、イギリス、アメリカ)と異なる言語から、記事テキストとURLの両方からPC対非PCを正確に識別できるかどうかを評価することで、このギャップを埋める。 GPT,Llama,Mistral,Deepseek,Qwen,Gemmaといった最先端のLCMを用いて,異なる言語的・国家的文脈であっても,URLレベルの分析がPCのフルテキスト分析に適しているかどうかを評価する。 モデル出力は、従来の教師付き機械学習技術と同様に、人間のラベル付き記事と比較され、パフォーマンスの基準となる。 全体としては、ニュースコンテンツの大部分をURLで埋め込む能力が示唆され、精度とコストのバランスに関して重要な視点を提供する。 また、文脈的制約を考慮し、政治科学研究でLLMを使用するための方法論的勧告を提案する。

関連論文リスト

• Passing the Turing Test in Political Discourse: Fine-Tuning LLMs to Mimic Polarized Social Media Comments [0.0]
  本研究では、微調整された大言語モデル(LLM)が、偏光言説を再現し増幅できる範囲について検討する。 Redditから抽出された政治的に課金された議論のキュレートされたデータセットを使用して、オープンソースのLCMを微調整して、コンテキスト認識とイデオロギー的に整合した応答を生成します。 結果は、パルチザンのデータに基づいてトレーニングすると、LLMは高い信頼性と挑発的なコメントを生成でき、しばしば人間によって書かれたものと区別できないことを示唆している。
  論文  参考訳（メタデータ） (2025-06-17T15:41:26Z)
• Democratic or Authoritarian? Probing a New Dimension of Political Biases in Large Language Models [72.89977583150748]
  本研究では,大規模言語モデルとより広い地政学的価値システムとの整合性を評価する新しい手法を提案する。 LLMは一般的に民主的価値観や指導者を好んでいるが、マンダリンでの権威主義的人物に対する好意が増している。
  論文  参考訳（メタデータ） (2025-06-15T07:52:07Z)
• Through the LLM Looking Glass: A Socratic Probing of Donkeys, Elephants, and Markets [42.55423041662188]
  この研究は、外部解釈に頼るのではなく、モデルのバイアスを直接測定することを目的としている。 我々の結果は、あらゆるモデルで共和党の立場よりも民主党を一貫して好んでいることを示している。 経済の話題では、西洋のLLMには偏見があるが、中国で開発されたものは社会主義に強く依存している。
  論文  参考訳（メタデータ） (2025-03-20T19:40:40Z)
• Political-LLM: Large Language Models in Political Science [159.95299889946637]
  大規模言語モデル(LLM)は、政治科学のタスクで広く採用されている。 政治LLMは、LLMを計算政治科学に統合する包括的な理解を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-09T08:47:50Z)
• Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths? [2.321323878201932]
  政治的誤報は民主的プロセスに挑戦し、世論を形成し、メディアを信頼する。 本研究では,ニュース記事の政治的事実を検出するための信頼性アノテータとして,最先端の大規模言語モデル (LLM) を用いることを検討した。
  論文  参考訳（メタデータ） (2024-11-08T18:36:33Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles [12.356251871670011]
  大規模言語モデル(LLM)は、タスクやドメインにまたがってますます活用されてきている。 本研究では、政治バイアスに着目し、教師付きモデルとLLMの両方を用いて検出する。 ジャーナリストの領域内ではじめて、この研究は定量化実験の枠組みを概説した。
  論文  参考訳（メタデータ） (2024-06-16T01:32:04Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• The Political Preferences of LLMs [0.0]
  私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。 ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。 LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
  論文  参考訳（メタデータ） (2024-02-02T02:43:10Z)
• Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
  本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。 我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
  論文  参考訳（メタデータ） (2023-12-14T18:34:06Z)
• Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents [19.65846717628022]
  大きな言語モデル(LLM)は、より良い結果と少ないプログラミングで自動化を約束します。 本研究では,政治科学の現場で遭遇する典型的複雑度を含む3つのプログラミング課題についてLLMを評価した。 もっとも優れたプロンプト戦略は、人間のプログラマに提供されるような、詳細なコードブックをLLMに提供することにある。
  論文  参考訳（メタデータ） (2023-11-20T15:34:45Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• How to use LLMs for Text Analysis [0.0]
  本稿では,社会科学における多目的テキスト分析手法としてLarge Language Models (LLM)を紹介する。 LLMは使いやすく、安価で、高速で、幅広いテキスト分析タスクに適用できるため、多くの学者はLLMがテキスト解析の方法を変えると考えている。
  論文  参考訳（メタデータ） (2023-07-24T19:54:15Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
  本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
  論文  参考訳（メタデータ） (2022-05-03T14:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。