論文の概要: Misleading through Inconsistency: A Benchmark for Political Inconsistencies Detection

• arxiv url: http://arxiv.org/abs/2505.19191v1
• Date: Sun, 25 May 2025 15:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.9668
• Title: Misleading through Inconsistency: A Benchmark for Political Inconsistencies Detection
• Title（参考訳）: 不整合によるミスリーディング:政治的不整合検出のためのベンチマーク
• Authors: Nursulu Sagimbayeva, Ruveyda Betül Bahçeci, Ingmar Weber,
• Abstract要約: 矛盾した政治的言明は誤報の一形態を表す。 本研究では,不整合検出タスクを提案し,この方向にNLP-Researchを促すために,不整合型の尺度を開発する。 そこで本研究では,アノテータの237サンプルに対する推論を解説した698対の政治的ステートメントのデータセットを提示する。
• 参考スコア（独自算出の注目度）: 0.7373617024876725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inconsistent political statements represent a form of misinformation. They erode public trust and pose challenges to accountability, when left unnoticed. Detecting inconsistencies automatically could support journalists in asking clarification questions, thereby helping to keep politicians accountable. We propose the Inconsistency detection task and develop a scale of inconsistency types to prompt NLP-research in this direction. To provide a resource for detecting inconsistencies in a political domain, we present a dataset of 698 human-annotated pairs of political statements with explanations of the annotators' reasoning for 237 samples. The statements mainly come from voting assistant platforms such as Wahl-O-Mat in Germany and Smartvote in Switzerland, reflecting real-world political issues. We benchmark Large Language Models (LLMs) on our dataset and show that in general, they are as good as humans at detecting inconsistencies, and might be even better than individual humans at predicting the crowd-annotated ground-truth. However, when it comes to identifying fine-grained inconsistency types, none of the model have reached the upper bound of performance (due to natural labeling variation), thus leaving room for improvement. We make our dataset and code publicly available.
• Abstract（参考訳）: 矛盾した政治的言明は誤報の一形態を表す。 公的な信頼を剥奪し、説明責任に挑戦する。 不整合を自動的に検出することは、ジャーナリストが明確化の質問をするのを支援し、政治家が責任を負うのを助ける。 本研究では,不整合検出タスクを提案し,この方向にNLP-Researchを促すために,不整合型の尺度を開発する。 政治的領域の不整合を検出するための資源として、アノテータの237個のサンプルに対する推論を説明するとともに、698個の人称アノテートされた政治声明のデータセットを提示する。 この声明は主に、ドイツのWearl-O-MatやスイスのSmartvoteなどの投票支援プラットフォームからのものであり、実際の政治問題を反映している。 我々はデータセット上でLarge Language Models (LLMs) をベンチマークし、一般に、それらは不整合を検出するのに人間と同じくらい優れていることを示し、また、群衆に注釈が付けられた地下構造を予測するのに個人よりもさらに優れているかもしれないことを示す。 しかし、きめ細かい不整合型を特定するという点では、どのモデルも(自然なラベル付けのバリエーションのため)上界に到達していないため、改善の余地は残っていない。 データセットとコードを公開しています。

関連論文リスト

• Analyzing Political Bias in LLMs via Target-Oriented Sentiment Classification [4.352835414206441]
  LLMによって符号化された政治的バイアスは下流のアプリケーションに有害な影響を及ぼす可能性がある。 我々は,LLMの感情予測が同一文の目的語と異なるという観察を活用する新しいアプローチを提案する。 我々は、人口統計学的および政治的に多様な政治家名を450の政治文に挿入し、6つの広く話される言語で7つのモデルを用いて目標志向の感情を予測する。
  論文  参考訳（メタデータ） (2025-05-26T10:01:24Z)
• The Impact of Persona-based Political Perspectives on Hateful Content Detection [4.04666623219944]
  政治的に多様な言語モデルは、多くの研究者や組織にアクセスできない計算資源を必要とする。 近年の研究では、ペルソナをベースとしたプロンプトが、追加の訓練なしに、モデルアウトプットに政治的多様性をもたらすことが確認されている。 本稿では、下流業務における政治的事前訓練に匹敵する結果が得られるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-02-01T09:53:17Z)
• Few-shot Policy (de)composition in Conversational Question Answering [54.259440408606515]
  本稿では,大規模言語モデル(LLM)を用いて数ショット設定でポリシーコンプライアンスを検出するニューラルシンボリックフレームワークを提案する。 提案手法は,回答すべきサブクエストを抽出し,文脈情報から真理値を割り当て,与えられたポリシーから論理文の集合を明示的に生成することで,政策コンプライアンスに関する会話に対して健全な理由を示す。 本手法は,PCDおよび会話機械読解ベンチマークであるShARCに適用し,タスク固有の微調整を伴わずに競合性能を示す。
  論文  参考訳（メタデータ） (2025-01-20T08:40:15Z)
• Entity-Based Evaluation of Political Bias in Automatic Summarization [27.68439481274954]
  本稿では,ニュース記事の自動要約における政治家の描写を,エンティティ代替手法を用いて調査する。 我々は、ドナルド・トランプやジョー・バイデンといった政治家に対して、抽出的かつ抽象的な要約者の感性を評価するためのエンティティベースの計算フレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-03T17:59:59Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• A Machine Learning Pipeline to Examine Political Bias with Congressional Speeches [0.3062386594262859]
  私たちは、2つのイデオロギー的に多様なソーシャルメディアフォーラム、GabとTwitterで、政治的偏見を研究するための機械学習アプローチを提供します。 提案手法は,米国議会の政治演説から収集したテキストを用いて,そのデータをラベル付けする手法である。 また、カスケードとテキストの特徴を組み合わせて、カスケードの政治的偏見を約85%の精度で予測する機械学習アプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-18T21:15:21Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。