論文の概要: Detection of Conspiracy Theories Beyond Keyword Bias in German-Language Telegram Using Large Language Models

• arxiv url: http://arxiv.org/abs/2404.17985v1
• Date: Sat, 27 Apr 2024 19:17:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:22:24.221955
• Title: Detection of Conspiracy Theories Beyond Keyword Bias in German-Language Telegram Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたドイツ語言語テレグラムにおけるキーワードバイアスを超えた陰謀理論の検出
• Authors: Milena Pustet, Elisabeth Steffen, Helena Mihaljević,
• Abstract要約: この研究は、ドイツのテレグラムメッセージにおける陰謀論を検出するという課題に対処する。 BERT型モデルを用いた教師付き微調整手法とプロンプトベース手法の比較を行った。 教師付き微調整では、正のクラスに対して$sim! 0.8$のF1スコアを報告します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The automated detection of conspiracy theories online typically relies on supervised learning. However, creating respective training data requires expertise, time and mental resilience, given the often harmful content. Moreover, available datasets are predominantly in English and often keyword-based, introducing a token-level bias into the models. Our work addresses the task of detecting conspiracy theories in German Telegram messages. We compare the performance of supervised fine-tuning approaches using BERT-like models with prompt-based approaches using Llama2, GPT-3.5, and GPT-4 which require little or no additional training data. We use a dataset of $\sim\!\! 4,000$ messages collected during the COVID-19 pandemic, without the use of keyword filters. Our findings demonstrate that both approaches can be leveraged effectively: For supervised fine-tuning, we report an F1 score of $\sim\!\! 0.8$ for the positive class, making our model comparable to recent models trained on keyword-focused English corpora. We demonstrate our model's adaptability to intra-domain temporal shifts, achieving F1 scores of $\sim\!\! 0.7$. Among prompting variants, the best model is GPT-4, achieving an F1 score of $\sim\!\! 0.8$ for the positive class in a zero-shot setting and equipped with a custom conspiracy theory definition.
• Abstract（参考訳）: オンラインでの陰謀論の自動検出は、典型的には教師あり学習に依存している。 しかし、しばしば有害なコンテンツを考えると、それぞれのトレーニングデータを作成するには専門知識、時間、精神的レジリエンスが必要です。 さらに、利用可能なデータセットは主に英語で、しばしばキーワードベースで、モデルにトークンレベルのバイアスを導入する。 我々の研究は、ドイツのテレグラムメッセージにおける陰謀論の検出という課題に対処する。 Llama2, GPT-3.5, GPT-4 を用いて, BERT-like モデルを用いた教師付き微調整手法の性能を比較した。 データセットは$\sim\! はーい! 新型コロナウイルス(COVID-19)のパンデミックで収集されたメッセージは、キーワードフィルターを使わずに4000ドルだった。 教師付き微調整では、F1スコアが$\sim\! はーい! 0.8$で,キーワード中心の英語コーパスで学習した最近のモデルに匹敵するモデルとなった。 ドメイン内時間シフトに対するモデルの適応性を実証し、F1スコアを$\sim\! はーい! 0.7ドル GPT-4はF1スコアが$\sim\! はーい! 0.8$はゼロショット設定の正のクラスで、カスタム陰謀論の定義を備えている。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition [18.884124657093405]
  ELENは,微調整言語モデルと言語規則をブレンドした,シンプルで完全にモジュール化されたニューロシンボリックな手法である。 ELLENはCoNLL-2003データセット上で非常に強力なパフォーマンスを実現している。 ゼロショット設定では、ELENは金のデータに基づいてトレーニングされた強力で完全な教師付きモデルの75%以上の性能を達成する。
  論文  参考訳（メタデータ） (2024-03-26T05:11:51Z)
• Zero-Shot Fact-Checking with Semantic Triples and Knowledge Graphs [13.024338745226462]
  クレームとエビデンス文を直接操作する代わりに、外部知識グラフを用いたセマンティックトリプルに分解する。 これにより、特定のトレーニングデータを必要とするモデルを教師する、敵対的なデータセットとドメインに一般化することができる。 提案手法は, FEVER, FEVER-Symmetric, FEVER 2.0, Climate-FEVERにおいて, 従来のゼロショットアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-19T01:48:31Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
  CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。 CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
  論文  参考訳（メタデータ） (2021-12-17T18:59:41Z)
• Unsupervised Subword Modeling Using Autoregressive Pretraining and Cross-Lingual Phone-Aware Modeling [30.905849959257264]
  この研究は、教師なしサブワードモデリング、すなわち言語のサブワード単位を区別できる特徴表現の学習に対処する。 提案手法では,自動回帰予測符号化(APC)をフロントエンドとして,DNN-BNFモデルをバックエンドとして,二段階ボトルネック(BNF)学習フレームワークを採用する。 Libri-lightとZeroSpeech 2017データベースの結果は、APCがフロントエンドの機能事前トレーニングに有効であることを示している。
  論文  参考訳（メタデータ） (2020-07-25T19:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。