論文の概要: Do small language models generate realistic variable-quality fake news headlines?

• arxiv url: http://arxiv.org/abs/2509.00680v1
• Date: Sun, 31 Aug 2025 03:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.338926
• Title: Do small language models generate realistic variable-quality fake news headlines?
• Title（参考訳）: 小さな言語モデルは、現実的な可変品質のフェイクニュースの見出しを生成するか?
• Authors: Austin McCutcheon, Chris Brogly,
• Abstract要約: 小型言語モデル(SLM)はテキスト生成機能を備えており、偽造テキストをオンラインで生成する可能性がある。 本研究は,低品質かつ高品質なフェイクニュースの見出しを明示的に生成する上で,14個のSLMを評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Small language models (SLMs) have the capability for text generation and may potentially be used to generate falsified texts online. This study evaluates 14 SLMs (1.7B-14B parameters) including LLaMA, Gemma, Phi, SmolLM, Mistral, and Granite families in generating perceived low and high quality fake news headlines when explicitly prompted, and whether they appear to be similar to real-world news headlines. Using controlled prompt engineering, 24,000 headlines were generated across low-quality and high-quality deceptive categories. Existing machine learning and deep learning-based news headline quality detectors were then applied against these SLM-generated fake news headlines. SLMs demonstrated high compliance rates with minimal ethical resistance, though there were some occasional exceptions. Headline quality detection using established DistilBERT and bagging classifier models showed that quality misclassification was common, with detection accuracies only ranging from 35.2% to 63.5%. These findings suggest the following: tested SLMs generally are compliant in generating falsified headlines, although there are slight variations in ethical restraints, and the generated headlines did not closely resemble existing primarily human-written content on the web, given the low quality classification accuracy.
• Abstract（参考訳）: 小型言語モデル(SLM)はテキスト生成機能を備えており、偽造テキストをオンラインで生成する可能性がある。 本研究は,LLaMA,Gemma,Phi,SmolLM,Mistral,Graniteファミリーを含む14のSLM(1.7B-14Bパラメータ)を,暗示時に低品質で高品質な偽ニュースの見出しを生成し,実世界のニュースの見出しに類似しているように見えるかを評価する。 制御されたプロンプトエンジニアリングを使用して、24,000の見出しが低品質および高品質の偽装カテゴリーで生成された。 既存の機械学習とディープラーニングによるニュースの見出し品質検出を、SLMが生成した偽ニュースの見出しに対して適用した。 SLMは最小限の倫理的抵抗で高いコンプライアンス率を示したが、時には例外もあった。 確立されたDistilBERTとバッグ分類器モデルを用いた見出し品質検出は、品質の誤分類が一般的であり、検出精度は35.2%から63.5%に限られていた。 実験されたSLMは, 倫理的制約がわずかに異なるものの, 偽造見出しの生成に概して適合しており, 生成した見出しは, 品質の低い分類精度から, ウェブ上の主に人間が書いたコンテンツとあまり似ていない。

関連論文リスト

• Adapting Fake News Detection to the Era of Large Language Models [48.5847914481222]
  我々は,機械による(言い換えられた)リアルニュース,機械生成のフェイクニュース,人書きのフェイクニュース,人書きのリアルニュースの相互作用について検討する。 我々の実験では、人書き記事のみに特化して訓練された検知器が、機械が生成したフェイクニュースを検出できる興味深いパターンを明らかにしましたが、その逆ではありません。
  論文  参考訳（メタデータ） (2023-11-02T08:39:45Z)
• WSDMS: Debunk Fake News via Weakly Supervised Detection of Misinforming Sentences with Contextualized Social Wisdom [13.92421433941043]
  本稿では,文章レベルの誤報を検出する偽ニュース拡散の分野における新たな課題について検討する。 Weakly Supervised Detection of Misinforming Sentences (WSDMS) というモデルを提案する。 実世界の3つのベンチマークでWSDMSを評価し、文レベルと記事レベルの両方でフェイクニュースをデバッキングすることで、既存の最先端のベースラインを上回っていることを実証した。
  論文  参考訳（メタデータ） (2023-10-25T12:06:55Z)
• Fake News Detectors are Biased against Texts Generated by Large Language Models [39.36284616311687]
  フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。 本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T18:04:40Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation [105.20743048379387]
  提案手法は,人間によるプロパガンダのスタイルや戦略から情報を得た学習例を生成するための新しいフレームワークである。 具体的には、生成した記事の有効性を確保するために、自然言語推論によって導かれる自己臨界シーケンストレーニングを行う。 実験の結果、PropaNewsでトレーニングされた偽ニュース検知器は、2つの公開データセットで3.62～7.69%のF1スコアで人書きの偽情報を検出するのに優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-10T14:24:19Z)
• Explainable Tsetlin Machine framework for fake news detection with credibility score assessment [16.457778420360537]
  本稿では,最近導入されたTsetlin Machine (TM) に基づく,新たな解釈可能な偽ニュース検出フレームワークを提案する。 我々は、TMの接続節を用いて、真偽のニューステキストの語彙的および意味的特性をキャプチャする。 評価のために、PolitiFactとGossipCopという2つの公開データセットで実験を行い、TMフレームワークが以前公開されたベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-05-19T13:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。