論文の概要: Hidden Biases in Unreliable News Detection Datasets
- arxiv url: http://arxiv.org/abs/2104.10130v1
- Date: Tue, 20 Apr 2021 17:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 13:54:19.116564
- Title: Hidden Biases in Unreliable News Detection Datasets
- Title（参考訳）: 信頼できないニュース検出データセットにおける隠れバイアス
- Authors: Xiang Zhou, Heba Elfardy, Christos Christodoulopoulos, Thomas Butler,
Mohit Bansal
- Abstract要約: データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
- 参考スコア（独自算出の注目度）: 60.71991809782698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic unreliable news detection is a research problem with great
potential impact. Recently, several papers have shown promising results on
large-scale news datasets with models that only use the article itself without
resorting to any fact-checking mechanism or retrieving any supporting evidence.
In this work, we take a closer look at these datasets. While they all provide
valuable resources for future research, we observe a number of problems that
may lead to results that do not generalize in more realistic settings.
Specifically, we show that selection bias during data collection leads to
undesired artifacts in the datasets. In addition, while most systems train and
predict at the level of individual articles, overlapping article sources in the
training and evaluation data can provide a strong confounding factor that
models can exploit. In the presence of this confounding factor, the models can
achieve good performance by directly memorizing the site-label mapping instead
of modeling the real task of unreliable news detection. We observed a
significant drop (>10%) in accuracy for all models tested in a clean split with
no train/test source overlap. Using the observations and experimental results,
we provide practical suggestions on how to create more reliable datasets for
the unreliable news detection task. We suggest future dataset creation include
a simple model as a difficulty/bias probe and future model development use a
clean non-overlapping site and date split.
- Abstract（参考訳）: 自動的信頼できないニュース検出は、大きな潜在的影響を持つ研究問題である。
近年、複数の論文が、ファクトチェック機構を使わずに記事自体のみを使用するモデルを持つ大規模ニュースデータセットについて有望な結果を示している。
この作業では、これらのデータセットを詳しく見ていきます。
これらはすべて、将来の研究に貴重なリソースを提供するが、より現実的な環境では一般化しない結果をもたらす可能性のある多くの問題を観察する。
具体的には、データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
さらに、ほとんどのシステムは個々の記事のレベルを訓練し予測するが、トレーニングと評価データに重複する記事ソースは、モデルが活用できる強力な欠点をもたらす可能性がある。
この要因が存在する場合、信頼できないニュース検出の実際のタスクをモデル化する代わりに、サイトラベルマッピングを直接記憶することで、優れた性能が得られる。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
観測結果と実験結果を用いて,信頼できないニュース検出タスクに対して,より信頼性の高いデータセットを作成する方法を提案する。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
関連論文リスト
- Addressing Bias Through Ensemble Learning and Regularized Fine-Tuning [0.2812395851874055]
本稿では,AIモデルのバイアスを取り除くために,複数の手法を用いた包括的アプローチを提案する。
我々は、データ分割、局所訓練、正規化ファインチューニングを通じて、事前訓練されたモデルのカウンターバイアスで複数のモデルを訓練する。
我々は、単一のバイアスのないニューラルネットワークをもたらす知識蒸留を用いて、ソリューションを結論付けている。
論文 参考訳（メタデータ） (2024-02-01T09:24:36Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳（メタデータ） (2023-11-28T16:46:14Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Fighting Bias with Bias: Promoting Model Robustness by Amplifying
Dataset Biases [5.997909991352044]
最近の研究は、トレーニングセットからバイアスのあるサンプルをフィルタリングすることで、頑健でバイアスのないモデルを開発することを試みた。
このようなフィルタリングは、バイアスを克服するモデルの真の能力を曖昧にする可能性がある、と私たちは主張する。
バイアス増幅トレーニングセットとバイアス防止テストセットで定義された評価フレームワークを導入する。
論文 参考訳（メタデータ） (2023-05-30T10:10:42Z) - Localized Shortcut Removal [4.511561231517167]
保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。
これはしばしば、機械学習のショートカットの存在が原因である。
我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
論文 参考訳（メタデータ） (2022-11-24T13:05:33Z) - Addressing Bias in Face Detectors using Decentralised Data collection
with incentives [0.0]
我々は、このデータ中心のアプローチが、アルゴリズムの効率的なデータ収集を可能にするために、分散的にどのように促進されるかを示す。
FaceNet Embeddingsを用いたMultiTask Cascaded CNNを用いた顔検出および匿名化手法を提案する。
論文 参考訳（メタデータ） (2022-10-28T09:54:40Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Dataset Cartography: Mapping and Diagnosing Datasets with Training
Dynamics [118.75207687144817]
我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。
私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。
以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
論文 参考訳（メタデータ） (2020-09-22T20:19:41Z) - Debiasing Skin Lesion Datasets and Models? Not So Fast [17.668005682385175]
データリスク学習のバイアスから学んだモデルは、同じデータから。
モデルが現実世界の状況では見つからない急激な相関関係を学習すると、医療上の決定などの重要なタスクへの展開は破滅的なものになる。
将来有望な研究を示唆する興味深い結果にもかかわらず、現在の脱バイアス法は、スキン・レジオンモデルのバイアス問題を解決する準備ができていないことが判明した。
論文 参考訳（メタデータ） (2020-04-23T21:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。