論文の概要: Weakly Supervised Veracity Classification with LLM-Predicted Credibility Signals
- arxiv url: http://arxiv.org/abs/2309.07601v3
- Date: Mon, 04 Nov 2024 21:33:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 14:57:54.542047
- Title: Weakly Supervised Veracity Classification with LLM-Predicted Credibility Signals
- Title（参考訳）: LLM予測可視信号を用いた弱教師付き精度分類
- Authors: João A. Leite, Olesya Razuvayevskaya, Kalina Bontcheva, Carolina Scarton,
- Abstract要約: Pastelは、Webコンテンツから信頼性信号を取り出すために、大きな言語モデルを活用する弱い教師付きアプローチである。
信頼性信号と信頼性の関係について検討し,各信号がモデル性能に与える影響について検討した。
- 参考スコア（独自算出の注目度）: 4.895830603263421
- License:
- Abstract: Credibility signals represent a wide range of heuristics typically used by journalists and fact-checkers to assess the veracity of online content. Automating the extraction of credibility signals presents significant challenges due to the necessity of training high-accuracy, signal-specific extractors, coupled with the lack of sufficiently large annotated datasets. This paper introduces Pastel (Prompted weAk Supervision wiTh crEdibility signaLs), a weakly supervised approach that leverages large language models (LLMs) to extract credibility signals from web content, and subsequently combines them to predict the veracity of content without relying on human supervision. We validate our approach using four article-level misinformation detection datasets, demonstrating that Pastel outperforms zero-shot veracity detection by 38.3% and achieves 86.7% of the performance of the state-of-the-art system trained with human supervision. Moreover, in cross-domain settings where training and testing datasets originate from different domains, Pastel significantly outperforms the state-of-the-art supervised model by 63%. We further study the association between credibility signals and veracity, and perform an ablation study showing the impact of each signal on model performance. Our findings reveal that 12 out of the 19 proposed signals exhibit strong associations with veracity across all datasets, while some signals show domain-specific strengths.
- Abstract（参考訳）: 信頼性信号は、ジャーナリストやファクトチェッカーがオンラインコンテンツの正確性を評価するために使用する幅広いヒューリスティックである。
信頼性信号の抽出を自動化することは、十分な量の注釈付きデータセットの不足に加えて、高精度な信号固有抽出器を訓練する必要があることによる重要な課題である。
本稿では,大規模な言語モデル(LLM)を活用してWebコンテンツから信頼性信号を抽出し,それらを組み合わせ,人間の監督に頼ることなくコンテンツの正確性を予測する手法であるPastel(Prompted weAk Supervision wiTh crEdibility signaLs)を紹介する。
提案手法は4つの記事レベルの誤情報検出データセットを用いて検証し、パステルがゼロショット精度を38.3%向上し、人間の監督によって訓練された最先端システムの性能の86.7%を達成できることを実証した。
さらに、データセットのトレーニングとテストが異なるドメインから始まるクロスドメイン設定では、Pastelは最先端の教師付きモデルよりも63%優れています。
さらに,信頼性信号と信頼性の関係について検討し,各信号がモデル性能に与える影響を示すアブレーション研究を行う。
提案した19の信号のうち12は、すべてのデータセットに強い相関性を示すが、いくつかの信号はドメイン固有の強度を示す。
関連論文リスト
- Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。
これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。
CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
論文 参考訳（メタデータ） (2024-03-15T17:33:49Z) - Always be Pre-Training: Representation Learning for Network Intrusion Detection with GNNs [6.589041710104928]
グラフニューラルネットワークに基づくネットワーク侵入検知システムは、最近、ベンチマークデータセットで最先端のパフォーマンスを実証した。
これらの手法は、データ前処理のターゲットエンコーディングに依存しており、アノテートされたラベルを必要とするため、広く採用されることが制限される。
本稿では,ラベル依存度制限を克服するために,文脈内事前学習とカテゴリ的特徴に対する高密度表現の利用を含むソリューションを提案する。
論文 参考訳（メタデータ） (2024-02-29T09:40:07Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Fusing Pseudo Labels with Weak Supervision for Dynamic Traffic Scenarios [0.0]
我々は、異種データセットで訓練されたオブジェクト検出モデルから擬似ラベルをアマルガメートする弱い教師付きラベル統一パイプラインを導入する。
我々のパイプラインは、異なるデータセットからのラベルの集約、バイアスの修正、一般化の強化を通じて、統一されたラベル空間をエンゲージする。
我々は,統合ラベル空間を用いた単独物体検出モデルを再学習し,動的交通シナリオに精通した弾力性のあるモデルを構築した。
論文 参考訳（メタデータ） (2023-08-30T11:33:07Z) - Data AUDIT: Identifying Attribute Utility- and Detectability-Induced
Bias in Task Models [8.420252576694583]
医用画像データセットの厳密で定量的なスクリーニングのための第1の手法を提案する。
提案手法は,データセット属性に関連するリスクを,検出性と実用性の観点から分解する。
本手法を用いて, ほぼ知覚不能なバイアス誘発アーティファクトを確実に同定するスクリーニング手法を提案する。
論文 参考訳（メタデータ） (2023-04-06T16:50:15Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
論文 参考訳（メタデータ） (2022-03-22T20:24:21Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - ReLearn: A Robust Machine Learning Framework in Presence of Missing Data
for Multimodal Stress Detection from Physiological Signals [5.042598205771715]
マルチモーダル生理学的信号から抽出したバイオマーカーからのストレス検出のための堅牢な機械学習フレームワークであるReLearnを提案する。
ReLearnは、トレーニングと推論フェーズの両方において、欠落したデータと外れ値に効果的に対処する。
提案手法は,50%以上のサンプルが欠落している場合でも,86.8%のクロスバリデーション精度が得られることを示す。
論文 参考訳（メタデータ） (2021-04-29T11:53:01Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳（メタデータ） (2021-02-09T20:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。