論文の概要: Introducing MBIB -- the first Media Bias Identification Benchmark Task and Dataset Collection

• arxiv url: http://arxiv.org/abs/2304.13148v1
• Date: Tue, 25 Apr 2023 20:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 16:23:43.913686
• Title: Introducing MBIB -- the first Media Bias Identification Benchmark Task and Dataset Collection
• Title（参考訳）: MBIB - 最初のメディアバイアス識別ベンチマークタスクとデータセットコレクション
• Authors: Martin Wessel, Tom\'a\v{s} Horych, Terry Ruas, Akiko Aizawa, Bela Gipp and Timo Spinde
• Abstract要約: 我々は,メディアバイアス識別ベンチマーク(MBIB)を導入し,メディアバイアスを共通の枠組みの下でグループ化する。 115のデータセットをレビューした後、9つのタスクを選択し、メディアバイアス検出技術を評価するために、22の関連するデータセットを慎重に提案する。 我々の結果は、ヘイトスピーチ、人種的偏見、性別的偏見は検出しやすいが、モデルが認知や政治的偏見といった特定のバイアスタイプを扱うのに苦労していることを示唆している。
• 参考スコア（独自算出の注目度）: 24.35462897801079
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Although media bias detection is a complex multi-task problem, there is, to date, no unified benchmark grouping these evaluation tasks. We introduce the Media Bias Identification Benchmark (MBIB), a comprehensive benchmark that groups different types of media bias (e.g., linguistic, cognitive, political) under a common framework to test how prospective detection techniques generalize. After reviewing 115 datasets, we select nine tasks and carefully propose 22 associated datasets for evaluating media bias detection techniques. We evaluate MBIB using state-of-the-art Transformer techniques (e.g., T5, BART). Our results suggest that while hate speech, racial bias, and gender bias are easier to detect, models struggle to handle certain bias types, e.g., cognitive and political bias. However, our results show that no single technique can outperform all the others significantly. We also find an uneven distribution of research interest and resource allocation to the individual tasks in media bias. A unified benchmark encourages the development of more robust systems and shifts the current paradigm in media bias detection evaluation towards solutions that tackle not one but multiple media bias types simultaneously.
• Abstract（参考訳）: メディアバイアス検出は複雑なマルチタスク問題であるが、これまでこれらの評価タスクをグループ化する統一ベンチマークは存在しない。 メディアバイアス識別ベンチマーク(MBIB)は,様々なタイプのメディアバイアス(言語,認知,政治など)を共通の枠組みの下でグループ化し,予測検出手法の一般化を検証するための総合ベンチマークである。 115のデータセットをレビューした後、9つのタスクを選択し、メディアバイアス検出技術を評価するための22の関連するデータセットを慎重に提案する。 我々は,最先端トランスフォーマー技術(T5,BARTなど)を用いてMBIBを評価する。 我々の結果は、ヘイトスピーチ、人種的偏見、性別的偏見は検出しやすいが、モデルが認知や政治的偏見といった特定のバイアスタイプを扱うのに苦労していることを示唆している。 しかし,本研究の結果から,他の手法よりも優れた性能を発揮する技術はないことがわかった。 また,メディアバイアスの個々のタスクに対する研究関心と資源配分の不均一な分布も見いだした。 統一ベンチマークは、より堅牢なシステムの開発を奨励し、メディアバイアス検出評価の現在のパラダイムを、複数のメディアバイアスタイプを同時に取り組むソリューションへとシフトさせる。

関連論文リスト

• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• The Media Bias Taxonomy: A Systematic Literature Review on the Forms and Automated Detection of Media Bias [5.579028648465784]
  本稿は、2019年から2022年の間に発行された3140の論文を体系的にレビューし、メディアバイアスを検出するための計算方法の研究を要約する。 メディアバイアス検出は,近年,トランスフォーマーに基づく分類手法が顕著な進歩をもたらしている,非常に活発な研究分野であることを示す。
  論文  参考訳（メタデータ） (2023-12-26T18:13:52Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Target-Aware Contextual Political Bias Detection in News [22.396285428304083]
  ニュースにおける文レベルの政治的偏見検出は、文脈を考慮した偏見の理解を必要とする課題である。 メディアバイアス検出におけるこれまでの研究は、この事実を利用するための拡張技術を提案した。 本稿では、バイアスに敏感なターゲット認識アプローチを用いて、より注意深くコンテキストを探索する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T12:25:05Z)
• Exploiting Transformer-based Multitask Learning for the Detection of Media Bias in News Articles [21.960154864540282]
  メディアバイアスを検出するために,マルチタスク学習を用いて学習したトランスフォーマーに基づくディープラーニングアーキテクチャを提案する。 我々の最高のパフォーマンス実装は、マクロ$F_1$の0.776を実現しています。
  論文  参考訳（メタデータ） (2022-11-07T12:22:31Z)
• Neural Media Bias Detection Using Distant Supervision With BABE -- Bias Annotations By Experts [24.51774048437496]
  本稿ではメディアバイアス研究のための頑健で多様なデータセットであるBABEについて述べる。 トピックとアウトレットの間でバランスが取れた3,700の文で構成されており、単語と文のレベルにメディアバイアスラベルが含まれている。 また,本データに基づいて,ニュース記事中のバイアス文を自動的に検出する手法も導入した。
  論文  参考訳（メタデータ） (2022-09-29T05:32:55Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• A Domain-adaptive Pre-training Approach for Language Bias Detection in News [3.7238620986236373]
  本稿ではメディアバイアス領域に適応した新しい最先端トランスフォーマーモデルであるDA-RoBERTaを提案する。 また、バイアス領域に適応した2つのトランスフォーマーモデルであるDA-BERTとDA-BARTをトレーニングします。 提案したドメイン適応モデルは同じデータ上で事前バイアス検出手法より優れている。
  論文  参考訳（メタデータ） (2022-05-22T08:18:19Z)
• Unbiased Math Word Problems Benchmark for Mitigating Solving Bias [72.8677805114825]
  現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
  論文  参考訳（メタデータ） (2022-05-17T06:07:04Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。