論文の概要: Large Language Models in Misinformation Ecosystems: Misuse, Defense, and Vulnerability

• arxiv url: http://arxiv.org/abs/2607.10402v1
• Date: Sat, 11 Jul 2026 17:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.422558
• Title: Large Language Models in Misinformation Ecosystems: Misuse, Defense, and Vulnerability
• Title（参考訳）: 誤報生態系における大規模言語モデル - 誤報, 防御, 脆弱性
• Authors: Lingwei Wei, Dou Hu, Wei Zhou, Songlin Hu, Philip S. Yu,
• Abstract要約: 大規模言語モデル(LLM)は、誤情報をコンテンツ中心の問題からより広範なエコシステムレベルのセキュリティ課題に転換した。 本稿では,これらのリスクと防御を統一する役割層フレームワークを提案する。 この役割はLLMを攻撃者、ディフェンダー、検証システムの脆弱なコンポーネントとして特徴づけ、層次元はコンテンツ、社会的コンテキスト、エビデンス環境、検証をカバーしている。
• 参考スコア（独自算出の注目度）: 65.56750741053266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have transformed misinformation from a primarily content-centric problem into a broader ecosystem-level security challenge. When misused, LLMs create risks beyond false content generation, enabling attacks on the social contexts, evidence sources, retrieval corpora, and verification workflows that misinformation defense depends on. In this paper, we introduce a role-layer framework to unify these risks and defenses. The role dimension characterizes LLMs as attackers, defenders, and vulnerable components of verification systems, while the layer dimension covers content, social contexts, evidence environments, and verification workflows. Guided by this framework, we organize LLM-enabled attacks, investigate LLM-based detection and verification methods, analyze vulnerabilities in LLM-centric detection paradigms, and discuss existing countermeasures against LLM-enabled attacks. Building on this synthesis, we identify three key open challenges: moving from static detection accuracy to budgeted ecosystem-level risk evaluation, hardening LLM-centered verification pipelines against adversarial manipulation, and deploying auditable human-in-the-loop verification systems for trustworthy real-world misinformation defense.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主にコンテンツ中心の問題からより広範なエコシステムレベルのセキュリティ課題へと誤情報を変換している。 誤用された場合、LLMは偽のコンテンツ生成を越えてリスクを発生させ、誤情報防御が依存する社会的コンテキスト、証拠ソース、検索コーパス、検証ワークフローへの攻撃を可能にする。 本稿では,これらのリスクと防御を統一する役割層フレームワークを提案する。 ロールディメンションはLLMを攻撃者、ディフェンダー、検証システムの脆弱なコンポーネントとして特徴づけ、レイヤディメンションはコンテンツ、社会的コンテキスト、エビデンス環境、検証ワークフローをカバーしている。 本フレームワークは,LSM対応攻撃を組織化し,LSMに基づく検出・検証手法を調査し,LSM中心検出パラダイムの脆弱性を分析し,LSM対応攻撃に対する既存の対策について議論する。 この合成に基づいて,静的検出精度から予算付き生態系レベルのリスク評価に移行すること,LLM中心の検証パイプラインを敵の操作に対して強化すること,信頼に値する現実世界の誤情報防御のための監査可能な人文間検証システムを展開すること,の3つの主要なオープン課題を特定する。

関連論文リスト

• Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment [0.5801044612920815]
  大規模言語モデル(LLM)は、安全クリティカルシステムにますます統合されている。 本研究は,LLMシステムのための目標駆動型リスクアセスメントフレームワークを紹介する。 医療ケーススタディを通じてその枠組みを実証する。
  論文  参考訳（メタデータ） (2026-03-08T04:30:27Z)
• On the Surprising Efficacy of LLMs for Penetration-Testing [3.11537581064266]
  この論文は、浸透試験におけるLarge Language Models (LLMs)の進化を徹底的にレビューする。 さまざまな攻撃的なセキュリティタスクにまたがって、彼らのアプリケーションをデモし、サイバー殺人チェーンの幅広いフェーズをカバーする。 論文では、より広範な採用と安全なデプロイメントを妨げる重要な障害を特定し、議論する。
  論文  参考訳（メタデータ） (2025-07-01T15:01:18Z)
• LLM Embedding-based Attribution (LEA): Quantifying Source Contributions to Generative Model's Response for Vulnerability Analysis [1.3543506826034255]
  大規模言語モデル(LLM)はサイバーセキュリティの脅威分析にますます利用されているが、セキュリティに敏感な環境への展開は信頼と安全性の懸念を引き起こす。 本研究は、脆弱性攻撃分析のために生成された応答を分析するために、埋め込み属性(LEA)を提案する。 以上の結果から,LEAは大規模モデルにおいて95%以上の精度で,非検索,汎用検索,有効検索シナリオの明確な区別を検出できることを示した。
  論文  参考訳（メタデータ） (2025-06-12T21:20:10Z)
• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• garak: A Framework for Security Probing Large Language Models [16.305837349514505]
  garakは、ターゲットとするLarge Language Models(LLM)の脆弱性を発見し、特定するために使用できるフレームワークである。 フレームワークのアウトプットは、ターゲットモデルの弱点を記述し、ユニークなコンテキストで脆弱性を構成するものについての情報的な議論に寄与する。
  論文  参考訳（メタデータ） (2024-06-16T18:18:43Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。