論文の概要: Enhancing Disinformation Detection with Explainable AI and Named Entity Replacement
- arxiv url: http://arxiv.org/abs/2502.04863v1
- Date: Fri, 07 Feb 2025 12:01:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 14:56:55.363870
- Title: Enhancing Disinformation Detection with Explainable AI and Named Entity Replacement
- Title（参考訳）: 説明可能なAIと名前付きエンティティ置換による偽情報検出の強化
- Authors: Santiago González-Silot, Andrés Montoro-Montarroso, Eugenio Martínez Cámara, Juan Gómez-Romero,
- Abstract要約: モデルバイアスを避けるために、トレーニング前に非形式的要素(URLやエモティコンなど)を擬似匿名化すべきであることを示す。
本手法を,拡張データ前処理および名前付きエンティティ置換の適用前後に,内部データセットと外部データセットを用いて評価する。
その結果, 内部テスト性能を著しく低下させることなく, 外部テストデータを用いた偽情報分類法の平均性能を65.78%向上させることができた。
- 参考スコア（独自算出の注目度）: 0.1374949083138427
- License:
- Abstract: The automatic detection of disinformation presents a significant challenge in the field of natural language processing. This task addresses a multifaceted societal and communication issue, which needs approaches that extend beyond the identification of general linguistic patterns through data-driven algorithms. In this research work, we hypothesise that text classification methods are not able to capture the nuances of disinformation and they often ground their decision in superfluous features. Hence, we apply a post-hoc explainability method (SHAP, SHapley Additive exPlanations) to identify spurious elements with high impact on the classification models. Our findings show that non-informative elements (e.g., URLs and emoticons) should be removed and named entities (e.g., Rwanda) should be pseudo-anonymized before training to avoid models' bias and increase their generalization capabilities. We evaluate this methodology with internal dataset and external dataset before and after applying extended data preprocessing and named entity replacement. The results show that our proposal enhances on average the performance of a disinformation classification method with external test data in 65.78% without a significant decrease of the internal test performance.
- Abstract（参考訳）: 偽情報の自動検出は自然言語処理の分野で大きな課題となる。
この課題は多面的社会・コミュニケーションの問題に対処し、データ駆動アルゴリズムによる一般的な言語パターンの識別を超えて拡張するアプローチを必要とする。
本研究は, テキスト分類法では偽情報のニュアンスを捉えられず, 多くの場合, 過剰な特徴に基づく決定を下すことができると仮定する。
そこで,本研究では,分類モデルに高い影響を及ぼす素粒子を同定するために,ポストホック説明可能性法 (SHAP, SHapley Additive exPlanations) を適用した。
以上の結果から,非形式的要素(例えばURLやエモティコン)を除去し,モデルバイアスを回避し,一般化能力を高めるためにトレーニング前に名前付きエンティティ(例えばRwanda)を擬匿名化すべきであることが示唆された。
本手法を,拡張データ前処理および名前付きエンティティ置換の適用前後に,内部データセットと外部データセットを用いて評価する。
その結果, 内部テスト性能を著しく低下させることなく, 外部テストデータを用いた偽情報分類法の平均性能を65.78%向上させることができた。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Gradient Imitation Reinforcement Learning for General Low-Resource
Information Extraction [80.64518530825801]
本研究では,ラベル付きデータに対する勾配降下方向を模倣するために擬似ラベル付きデータを奨励するグラディエント強化学習法(GIRL)を開発した。
GIRLを利用して、低リソース設定ですべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決します。
論文 参考訳（メタデータ） (2022-11-11T05:37:19Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Power of Explanations: Towards automatic debiasing in hate speech
detection [19.26084350822197]
ヘイトスピーチ検出は、自然言語処理(NLP)の現実世界における一般的なダウンストリームアプリケーションである。
本稿では,潜在的なバイアスを検出するための説明手法を頼りに,自動誤用検知(MiD)を提案する。
論文 参考訳（メタデータ） (2022-09-07T14:14:03Z) - Training Dynamic based data filtering may not work for NLP datasets [0.0]
NLPデータセットにおける誤り例を識別するために,AUM(Area Under the Margin)測定値の適用性を検討した。
我々は,NLPデータセットのAUM測定値を用いて誤ラベル付きサンプルをフィルタリングできることを発見したが,同時に,かなりの数の正確なラベル付きポイントを除去した。
論文 参考訳（メタデータ） (2021-09-19T18:50:45Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Regularizing Models via Pointwise Mutual Information for Named Entity
Recognition [17.767466724342064]
ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。
提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。
長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
論文 参考訳（メタデータ） (2021-04-15T05:47:27Z) - Improving Commonsense Causal Reasoning by Adversarial Training and Data
Augmentation [14.92157586545743]
本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。
少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
論文 参考訳（メタデータ） (2021-01-13T09:55:29Z) - On Cross-Dataset Generalization in Automatic Detection of Online Abuse [7.163723138100273]
Wikipedia Detoxデータセットの良質な例は、プラットフォーム固有のトピックに偏っていることを示す。
教師なしトピックモデリングとトピックのキーワードの手動検査を用いてこれらの例を同定する。
頑健なデータセット設計のために、収集したデータを検査し、一般化不可能なコンテンツを小さくするために、安価な教師なし手法を適用することを提案する。
論文 参考訳（メタデータ） (2020-10-14T21:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。