論文の概要: Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths?

• arxiv url: http://arxiv.org/abs/2411.05775v1
• Date: Fri, 08 Nov 2024 18:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:43.884922
• Title: Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths?
• Title（参考訳）: ファクトかフィクションか? LLMは政治真理の信頼できるアノテーションになれるか?
• Authors: Veronica Chatrath, Marcelo Lotif, Shaina Raza,
• Abstract要約: 政治的誤報は民主的プロセスに挑戦し、世論を形成し、メディアを信頼する。 本研究では,ニュース記事の政治的事実を検出するための信頼性アノテータとして,最先端の大規模言語モデル (LLM) を用いることを検討した。
• 参考スコア（独自算出の注目度）: 2.321323878201932
• License:
• Abstract: Political misinformation poses significant challenges to democratic processes, shaping public opinion and trust in media. Manual fact-checking methods face issues of scalability and annotator bias, while machine learning models require large, costly labelled datasets. This study investigates the use of state-of-the-art large language models (LLMs) as reliable annotators for detecting political factuality in news articles. Using open-source LLMs, we create a politically diverse dataset, labelled for bias through LLM-generated annotations. These annotations are validated by human experts and further evaluated by LLM-based judges to assess the accuracy and reliability of the annotations. Our approach offers a scalable and robust alternative to traditional fact-checking, enhancing transparency and public trust in media.
• Abstract（参考訳）: 政治的誤報は民主的プロセスに重大な課題をもたらし、世論やメディアへの信頼を形作っている。 手動のファクトチェック手法はスケーラビリティとアノテータバイアスの問題に直面し、マシンラーニングモデルは大規模で高価なラベル付きデータセットを必要とする。 本研究では,ニュース記事の政治的事実を検出するための信頼性アノテータとして,最先端の大規模言語モデル (LLM) を用いることを検討した。 オープンソースのLLMを使用して、LLM生成アノテーションを通じてバイアスをラベル付けした、政治的に多様なデータセットを作成します。 これらのアノテーションは、人間の専門家によって検証され、LCMベースの審査員により、アノテーションの正確性と信頼性を評価するためにさらに評価される。 私たちのアプローチは、従来のファクトチェックに代わるスケーラブルで堅牢な代替手段を提供し、透明性を高め、メディアに対する公的な信頼を高めます。

関連論文リスト

• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models [0.0]
  我々は、Large Language Models (LLMs) において同様のバイアスをアノテーションとしてテストする。 人間とは違い、極端に左派や右派からの発言を誘発しても、LSMは顕著な偏見を呈する。
  論文  参考訳（メタデータ） (2024-08-28T16:05:20Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Accuracy and Political Bias of News Source Credibility Ratings by Large Language Models [8.367075755850983]
  本稿では,3大プロバイダから広く利用されている8つの言語モデル(LLM)を評価し,信頼性と高品質な情報ソースを識別する能力を評価する。 より大規模なモデルは、情報不足のために評価の提供を拒否する傾向にあるのに対して、より小さなモデルは、その評価において幻覚を起こす傾向にある。
  論文  参考訳（メタデータ） (2023-04-01T05:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。