論文の概要: Definitional Sensitivity in Media Bias Detection: A Multi-Definition Dataset and Benchmark

• arxiv url: http://arxiv.org/abs/2608.23095v1
• Date: Mon, 24 Aug 2026 11:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.024259
• Title: Definitional Sensitivity in Media Bias Detection: A Multi-Definition Dataset and Benchmark
• Title（参考訳）: メディアバイアス検出における定義感度:多値データセットとベンチマーク
• Abstract要約: メディアバイアス検出は、バイアスとして数えられるものを指定する定義や例に依存する。 このような変動は、同じバイアスカテゴリーで訓練されたモデルが同じ構成を学ぶか、異なる現象を学ぶかを明確にする。
• 参考スコア（独自算出の注目度）: 8.833194258296148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Media bias detection relies on definitions and examples that specify what counts as bias, yet these specifications often vary across datasets or remain implicit, even when given the same name. Such variation makes it unclear whether models trained for the same bias category learn the same construct or different phenomena, a problem largely overlooked in prior work. We examine how definition choice affects bias annotation in a between-subjects experiment with 354 participants and a parallel evaluation with four LLMs. Participants and models rate six news articles across four bias categories using definitions that vary in conceptual framing and elaboration. Across 8,496 human and 28,800 LLM ratings, we find that the conceptual target of a definition drives annotation divergence, while construct-preserving elaboration does not: conceptual framing significantly shifts annotations for humans and does so even more strongly for LLMs. We discuss implications for construct specification in annotation protocols and prompt-based measurement, and consider how definitional sensitivity may propagate to downstream classification beyond media bias. We also release MUDD, the Multi-Definition Bias Detection Dataset.
• Abstract（参考訳）: メディアバイアス検出は、バイアスとして数えられるものを指定する定義や例に依存している。 このような変動は、同じバイアスカテゴリーで訓練されたモデルが同じ構造を学ぶのか、あるいは異なる現象を学ぶのかをはっきりさせる。 354人の被験者と4つのLLMを用いた並列評価実験において,定義選択がバイアスアノテーションに与える影響について検討した。 参加者とモデルは、4つの偏見カテゴリーで6つのニュース記事を評価する。 8,496人,28,800人以上のLDM評価において,定義の概念的対象がアノテーションの分散を促進するのに対して,構成保存エラボレーションはそうではないことがわかった。 本稿では,アノテーションプロトコルとプロンプトベース測定における構成仕様の意義を論じ,メディアバイアスを超えた下流分類に定義感度がどのように伝播するかを検討する。 また、Multi-Definition Bias Detection DatasetであるMUDDをリリースする。

関連論文リスト

• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
  大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。 我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。 また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
  論文  参考訳（メタデータ） (2025-10-14T13:08:10Z)
• Instruction Boundary: Quantifying Biases in LLM Reasoning under Various Coverage [34.247904738521136]
  異なる命令形式がLLM推論能力をどのように促進するか、それとも誤解を招くかを検討する。 本稿では,インストラクション境界の概念を導入し,異なるレベルのプロンプトカバレッジが推論バイアスにどのように寄与するかを系統的に分析する。 異なる種類の命令境界条件下でスパースラベルを識別するLLMの能力を定量化する統合フレームワークであるBiasDetectorを提案する。
  論文  参考訳（メタデータ） (2025-09-24T16:15:26Z)
• Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs [25.62533031580287]
  大規模言語モデル(LLM)のバイアスは、その信頼性と公平性を著しく損なう。 モデルベクトル空間の構造に基づくテストセットのないバイアス分析フレームワークであるBiasLensを提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:50:23Z)
• On the Origins of Sampling Bias: Implications on Fairness Measurement and Mitigation [0.0]
  いくつかのバイアス源が存在し、機械学習によるバイアスは異なるグループによって等しく生まれると仮定される。 特にサンプリングバイアスは、サンプリング手順によるバイアスを記述するために文献で矛盾的に使用される。 サンプルサイズバイアス (SSB) とアンダーレ表現バイアス (URB) の明確に定義された変種を導入する。
  論文  参考訳（メタデータ） (2025-03-23T06:23:07Z)
• No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models [0.9620910657090186]
  大規模言語モデル(LLM)は、異なる自然言語理解と生成タスクの性能を高めている。 我々は,中小LLMの集合を用いてベンチマークを統一的に評価する。 バイアス検出タスクをバイアスの異なる側面で行うための5つのプロンプト手法を提案する。 その結果, 選択したLLMは, Phi-3.5Bモデルが最も偏りが少ないため, いずれか一方あるいは他方の偏りに悩まされることが示唆された。
  論文  参考訳（メタデータ） (2025-03-15T03:58:14Z)
• Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection [18.625071242029936]
  大規模言語モデル(LLM)は、生成されたコンテンツに様々なバイアスとステレオタイプを示すことが示されている。 本稿では,LLMにおける明示的偏見と暗黙的偏見を調査・比較するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-04T14:08:52Z)
• Is There a One-Model-Fits-All Approach to Information Extraction? Revisiting Task Definition Biases [62.806300074459116]
  定義バイアスは、モデルを誤解させる可能性のある負の現象である。 IEでは、情報抽出データセット間のバイアスと、情報抽出データセットとインストラクションチューニングデータセット間のバイアスの2つの定義バイアスを識別する。 本稿では, 定義バイアス測定, バイアス対応微調整, タスク固有バイアス緩和からなる多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-25T03:19:20Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。