論文の概要: Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media

• arxiv url: http://arxiv.org/abs/2410.14515v1
• Date: Fri, 18 Oct 2024 14:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:05.901413
• Title: Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media
• Title（参考訳）: ソーシャルメディア上での知識に基づく誤情報検出のための効率的なアノテーション信頼性評価とサンプル重み付け
• Authors: Owen Cook, Charlie Grimshaw, Ben Wu, Sophie Dillon, Jack Hicks, Luke Jones, Thomas Smith, Matyas Szert, Xingyi Song,
• Abstract要約: 本研究は,誤情報検出に対する知識に基づくアプローチを取り入れ,自然言語推論の手法と類似した問題をモデル化する。 EffiARAアノテーションフレームワークは、アノテーション間の合意とアノテーション間の合意を利用して、各アノテーションの信頼性を理解することを目的としている。 本研究は,アノテータ信頼度を用いたサンプル重み付けが,アノテータ間およびアノテータ内合意とソフトラベルトレーニングの両方を活用することにより,最良であることを示す。
• 参考スコア（独自算出の注目度）: 0.33859507757954027
• License:
• Abstract: Misinformation spreads rapidly on social media, confusing the truth and targetting potentially vulnerable people. To effectively mitigate the negative impact of misinformation, it must first be accurately detected before applying a mitigation strategy, such as X's community notes, which is currently a manual process. This study takes a knowledge-based approach to misinformation detection, modelling the problem similarly to one of natural language inference. The EffiARA annotation framework is introduced, aiming to utilise inter- and intra-annotator agreement to understand the reliability of each annotator and influence the training of large language models for classification based on annotator reliability. In assessing the EffiARA annotation framework, the Russo-Ukrainian Conflict Knowledge-Based Misinformation Classification Dataset (RUC-MCD) was developed and made publicly available. This study finds that sample weighting using annotator reliability performs the best, utilising both inter- and intra-annotator agreement and soft-label training. The highest classification performance achieved using Llama-3.2-1B was a macro-F1 of 0.757 and 0.740 using TwHIN-BERT-large.
• Abstract（参考訳）: 誤報はソーシャルメディアに急速に広まり、真実を混乱させ、潜在的に脆弱な人々をターゲットにしている。 誤情報によるネガティブな影響を効果的に軽減するためには、現在手作業であるXのコミュニティノートなどの緩和戦略を適用する前に、まず正確に検出する必要がある。 本研究は,誤情報検出に対する知識に基づくアプローチを取り入れ,自然言語推論の手法と類似した問題をモデル化する。 EffiARAアノテーションフレームワークは,アノテータ間の合意とアノテータ間の合意を利用して,各アノテータの信頼性を理解し,アノテータの信頼性に基づいた分類のための大規模言語モデルのトレーニングに影響を与えることを目的としている。 EffiARAアノテーションフレームワークの評価において、ロシアとウクライナの紛争知識に基づく誤情報分類データセット(RUC-MCD)が開発され、公開されている。 本研究は,アノテータ信頼度を用いたサンプル重み付けが,アノテータ間およびアノテータ内合意とソフトラベルトレーニングの両方を活用することにより,最良であることを示す。 Llama-3.2-1Bを用いた最も高い分類性能は、TwHIN-BERT-largeを用いたマクロF1の0.757と0.740である。

関連論文リスト

• Automated Trustworthiness Oracle Generation for Machine Learning Text Classifiers [9.349442247982557]
  モデルの信頼性や精度といった従来のメトリクスは、機械学習モデルに対する人間の信頼を構築するには不十分です。 予測帰属語が予測クラスに関連があるかどうかを自動的にチェックするTOKIを提案する。 また,TOKIが特定した信頼性問題を対象とした新たな敵攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T03:26:37Z)
• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• An Information Theoretic Evaluation Metric For Strong Unlearning [20.143627174765985]
  情報理論にインスパイアされた新しいホワイトボックス計量であるIDI(Information difference Index)を導入する。 IDIは、これらの特徴と忘れるべきラベルの相互情報を測定することにより、中間特徴の保持情報を定量化する。 我々の実験は、IDIが様々なデータセットやアーキテクチャをまたいだアンラーニングの度合いを効果的に測定できることを実証した。
  論文  参考訳（メタデータ） (2024-05-28T06:57:01Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Leveraging Knowledge and Reinforcement Learning for Enhanced Reliability of Language Models [10.10140327060947]
  本研究では,知識グラフの埋め込みとしてコンセプションネットやウィキペディアの知識を統合するために,強化学習を活用する知識誘導型LMアンサンブルアプローチについて検討する。 このアプローチは、データセットの情報不足を補うために外部知識に頼った人間のアノテーションを模倣する。 9つのGLUEデータセットを通して、我々の研究は、アンサンブルが信頼性と精度のスコアを強化し、技術の性能を向上することを示した。
  論文  参考訳（メタデータ） (2023-08-25T16:11:08Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Evaluating Membership Inference Through Adversarial Robustness [6.983991370116041]
  本稿では,敵の強靭性に基づくメンバシップ推論攻撃の強化手法を提案する。 提案手法をFashion-MNIST, CIFAR-10, CIFAR-100の3つのデータセットで評価した。
  論文  参考訳（メタデータ） (2022-05-14T06:48:47Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。