Fugu-MT 論文翻訳(概要): Yesterday's News: Benchmarking Multi-Dimensional Out-of-Distribution Generalisation of Misinformation Detection Models

論文の概要: Yesterday's News: Benchmarking Multi-Dimensional Out-of-Distribution Generalisation of Misinformation Detection Models

arxiv url: http://arxiv.org/abs/2410.18122v1
Date: Sat, 12 Oct 2024 09:46:36 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-27 05:11:52.131719
Title: Yesterday's News: Benchmarking Multi-Dimensional Out-of-Distribution Generalisation of Misinformation Detection Models
Title（参考訳）: 昨日のニュース:誤情報検出モデルの多次元アウトオブディストリビューション一般化のベンチマーク
Authors: Ivo Verhoeven, Pushkar Mishra, Ekaterina Shutova,
Abstract要約: Misinfo-Generalは、偽情報モデルのアウト・オブ・ディストリビューションの一般化を行う能力を評価するためのベンチマークデータセットである。一般化時間,イベント,トピック,パブリッシャ,政治バイアス,誤情報型および設計評価手順の6つの軸を識別する。
参考スコア（独自算出の注目度）: 15.120606566150816
License:
Abstract: This paper introduces misinfo-general, a benchmark dataset for evaluating misinformation models' ability to perform out-of-distribution generalisation. Misinformation changes rapidly, much quicker than moderators can annotate at scale, resulting in a shift between the training and inference data distributions. As a result, misinformation models need to be able to perform out-of-distribution generalisation, an understudied problem in existing datasets. We identify 6 axes of generalisation-time, event, topic, publisher, political bias, misinformation type-and design evaluation procedures for each. We also analyse some baseline models, highlighting how these fail important desiderata.
Abstract（参考訳）: 本稿では,誤情報モデルによるアウト・オブ・ディストリビューションの一般化能力を評価するためのベンチマークデータセットであるMissinfo-Generalを紹介する。誤報は、モデレーターが大規模にアノテートできるよりもはるかに高速に急速に変化するため、トレーニングと推論データの分布はシフトする。結果として、誤報モデルは既存のデータセットの未調査問題である配布外一般化を実行する必要がある。一般化時間,イベント,トピック,パブリッシャ,政治バイアス,誤情報型および設計評価手順の6つの軸を識別する。また、いくつかのベースラインモデルを分析し、これらがいかに重要なデシダラタを失敗するかを強調します。

関連論文リスト

Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文参考訳（メタデータ） (2024-08-07T17:14:58Z)
Supervised Algorithmic Fairness in Distribution Shifts: A Survey [17.826312801085052]
現実世界のアプリケーションでは、機械学習モデルは特定のデータセットでトレーニングされることが多いが、データ分散がシフトする可能性のある環境にデプロイされる。この変化は、人種や性別などのセンシティブな属性によって特徴づけられる特定のグループに不公平な予測をもたらす可能性がある。
論文参考訳（メタデータ） (2024-02-02T11:26:18Z)
Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
論文参考訳（メタデータ） (2023-07-08T18:58:08Z)
Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文参考訳（メタデータ） (2023-06-19T17:26:34Z)
Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文参考訳（メタデータ） (2023-01-31T20:09:33Z)
Identifying the Context Shift between Test Benchmarks and Production Data [1.2259552039796024]
データセットベンチマークにおける機械学習モデルの精度と実運用データの間には、パフォーマンスのギャップがある。分布変化とモデル予測誤差につながる文脈変化を同定する2つの手法を概説する。本研究は,機械学習モデルに基づく暗黙の仮定を強調するケーススタディを2つ提示する。
論文参考訳（メタデータ） (2022-07-03T14:54:54Z)
General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文参考訳（メタデータ） (2021-12-20T14:47:32Z)
An Information-theoretic Approach to Distribution Shifts [9.475039534437332]
機械学習モデルを現実世界に安全にデプロイすることは、しばしば難しいプロセスである。特定の地理的位置から得られたデータで訓練されたモデルは、他の場所で得られたデータでクエリされたときに失敗する傾向がある。集団のサブセットに適合するニューラルネットワークは選択バイアスを与えるかもしれない
論文参考訳（メタデータ） (2021-06-07T16:44:21Z)
Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文参考訳（メタデータ） (2021-04-20T17:16:41Z)
Regularizing Models via Pointwise Mutual Information for Named Entity Recognition [17.767466724342064]
ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
論文参考訳（メタデータ） (2021-04-15T05:47:27Z)
Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
論文参考訳（メタデータ） (2020-03-13T18:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。