論文の概要: BiasLab: Toward Explainable Political Bias Detection with Dual-Axis Annotations and Rationale Indicators

• arxiv url: http://arxiv.org/abs/2505.16081v1
• Date: Wed, 21 May 2025 23:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.946317
• Title: BiasLab: Toward Explainable Political Bias Detection with Dual-Axis Annotations and Rationale Indicators
• Title（参考訳）: BiasLab: Dual-AxisアノテーションとRationaleインデックスによる説明可能な政治的バイアス検出を目指して
• Authors: KMA Solaiman,
• Abstract要約: BiasLabは、イデオロギー的偏見を意識した300の政治ニュース記事のデータセットである。 各記事は2つの独立したスケールでクラウドワーカーによってラベル付けされ、民主党と共和党に対する感情を評価している。 我々は、アノテータ間の合意を定量化し、ソースレベルの出口バイアスによる誤調整を分析し、その結果のラベルを解釈可能なサブセットに整理する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present BiasLab, a dataset of 300 political news articles annotated for perceived ideological bias. These articles were selected from a curated 900-document pool covering diverse political events and source biases. Each article is labeled by crowdworkers along two independent scales, assessing sentiment toward the Democratic and Republican parties, and enriched with rationale indicators. The annotation pipeline incorporates targeted worker qualification and was refined through pilot-phase analysis. We quantify inter-annotator agreement, analyze misalignment with source-level outlet bias, and organize the resulting labels into interpretable subsets. Additionally, we simulate annotation using schema-constrained GPT-4o, enabling direct comparison to human labels and revealing mirrored asymmetries, especially in misclassifying subtly right-leaning content. We define two modeling tasks: perception drift prediction and rationale type classification, and report baseline performance to illustrate the challenge of explainable bias detection. BiasLab's rich rationale annotations provide actionable interpretations that facilitate explainable modeling of political bias, supporting the development of transparent, socially aware NLP systems. We release the dataset, annotation schema, and modeling code to encourage research on human-in-the-loop interpretability and the evaluation of explanation effectiveness in real-world settings.
• Abstract（参考訳）: 本稿では,イデオロギー的偏見を意識した300の政治ニュース記事のデータセットであるBiasLabを紹介する。 これらの記事は、様々な政治的出来事とソースバイアスをカバーする900件のキュレートされた文書プールから選ばれた。 それぞれの記事は、2つの独立したスケールでクラウドワーカーによってラベル付けされ、民主党と共和党に対する感情を評価し、合理的な指標を豊かにしている。 アノテーションパイプラインには、ターゲットとなる労働者の資格が含まれており、パイロットフェーズ分析によって洗練されている。 我々は、アノテータ間の合意を定量化し、ソースレベルの出口バイアスによる誤調整を分析し、その結果のラベルを解釈可能なサブセットに整理する。 さらに、スキーマ制約付きGPT-4oを用いてアノテーションをシミュレートし、人間のラベルと直接比較し、ミラー化された非対称性を明らかにする。 本稿では,認識ドリフト予測と有理型分類という2つのモデリングタスクを定義し,その基礎となる性能を報告し,説明可能なバイアス検出の課題を説明する。 BiasLabの豊富な合理性アノテーションは、政治的バイアスの説明可能なモデリングを促進する実用的な解釈を提供し、透明で社会的に認識されたNLPシステムの開発を支援する。 提案するデータセット, アノテーションスキーマ, モデリングコードを公開し, 実世界の環境におけるヒューマン・イン・ザ・ループの解釈可能性と説明の有効性の評価を奨励する。

関連論文リスト

• Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs [25.62533031580287]
  大規模言語モデル(LLM)のバイアスは、その信頼性と公平性を著しく損なう。 モデルベクトル空間の構造に基づくテストセットのないバイアス分析フレームワークであるBiasLensを提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:50:23Z)
• COBIAS: Assessing the Contextual Reliability of Bias Benchmarks for Language Models [14.594920595573038]
  大規模言語モデル(LLM)は、トレーニング対象のWebデータからバイアスを受け取り、ステレオタイプや偏見を含むことが多い。 これらのバイアスを評価し緩和するための現在の手法はバイアスベンチマークデータセットに依存している。 本稿では,モデルが現れる可能性のあるさまざまなコンテキストを考慮し,モデルロバスト性を偏りのある文に評価するコンテキスト信頼性フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T10:46:11Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Bias in News Summarization: Measures, Pitfalls and Corpora [4.917075909999548]
  本稿では,要約モデルにおけるバイアス付き行動の定義と実用運用について紹介する。 目的合成モデルと汎用チャットモデルの両方で生成された英語要約における性別バイアスを測定する。 単一文書要約におけるコンテンツ選択は、性バイアスの影響をほとんど受けていないが、幻覚は偏見の証拠である。
  論文  参考訳（メタデータ） (2023-09-14T22:20:27Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition [4.336779198334903]
  人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。 我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。 この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-28T11:04:18Z)
• Filtering Context Mitigates Scarcity and Selection Bias in Political Ideology Prediction [42.31457743674423]
  政治イデオロギー予測(PIP)のための新しい教師付き学習手法を提案する。 私たちのモデルは、5%のバイアスデータでトレーニングしても、予測を出力できることを示します。
  論文  参考訳（メタデータ） (2023-02-01T04:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。