論文の概要: Building Resilient Information Ecosystems: Large LLM-Generated Dataset of Persuasion Attacks
- arxiv url: http://arxiv.org/abs/2511.19488v1
- Date: Sun, 23 Nov 2025 07:18:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.034845
- Title: Building Resilient Information Ecosystems: Large LLM-Generated Dataset of Persuasion Attacks
- Title(参考訳): レジリエントな情報エコシステムの構築: 説得攻撃の大規模LCM生成データセット
- Abstract要約: 生成AIモデルは、スピードとスケールで組織からの公式メッセージで競合する物語を形成する説得的コンテンツを生成することができる。
本稿では, GPT-4, Gemma 2, Llama 3.1 が生成する134,136件の攻撃を含む LLM 生成型大規模パーサー・アタック・データセットを提案する。
これらの攻撃はSemEval 2023 Task 3の23の説得的テクニックに及んでいる。
- 参考スコア(独自算出の注目度): 1.1204025011987013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Organization's communication is essential for public trust, but the rise of generative AI models has introduced significant challenges by generating persuasive content that can form competing narratives with official messages from government and commercial organizations at speed and scale. This has left agencies in a reactive position, often unaware of how these models construct their persuasive strategies, making it more difficult to sustain communication effectiveness. In this paper, we introduce a large LLM-generated persuasion attack dataset, which includes 134,136 attacks generated by GPT-4, Gemma 2, and Llama 3.1 on agency news. These attacks span 23 persuasive techniques from SemEval 2023 Task 3, directed toward 972 press releases from ten agencies. The generated attacks come in two mediums, press release statements and social media posts, covering both long-form and short-form communication strategies. We analyzed the moral resonance of these persuasion attacks to understand their attack vectors. GPT-4's attacks mainly focus on Care, with Authority and Loyalty also playing a role. Gemma 2 emphasizes Care and Authority, while Llama 3.1 centers on Loyalty and Care. Analyzing LLM-generated persuasive attacks across models will enable proactive defense, allow to create the reputation armor for organizations, and propel the development of both effective and resilient communications in the information ecosystem.
- Abstract(参考訳): 組織のコミュニケーションは、公共の信頼のために不可欠であるが、生成的AIモデルの台頭は、政府や商業組織の公式なメッセージと、迅速かつ大規模に競合する物語を形成する、説得力のあるコンテンツを生成することによって、重大な課題をもたらしている。
これにより機関は反応的な立場に置かれ、これらのモデルがいかに説得力のある戦略を構築するかに気付いておらず、コミュニケーションの有効性を維持することがより困難になる。
本稿では, GPT-4, Gemma 2, Llama 3.1 による134,136 件の攻撃を含む LLM 生成型大規模パーサー・アタック・データセットを提案する。
これらの攻撃はSemEval 2023 Task 3の23の説得的テクニックに及んでいる。
生成された攻撃には、プレスリリースとソーシャルメディア投稿という2つのメディアがあり、長文と短文のコミュニケーション戦略の両方をカバーしている。
攻撃ベクトルを理解するために,これらの説得攻撃の道徳的共鳴を分析した。
GPT-4の攻撃は主にケアに焦点を当てており、オーソリティとロイヤリティもその役割を果たした。
Gemma 2はケアとオーソリティを強調し、Llama 3.1はロイヤリティとケアに重点を置いている。
LLMが生成したモデル間の説得的攻撃を分析することで、積極的な防御が可能になり、組織のための評判の装甲を作り、情報エコシステムにおける効果的なコミュニケーションとレジリエントなコミュニケーションの開発を促進することができる。
関連論文リスト
- Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs [11.978588496675327]
一つの目的の説得的議論がモデル精度をほぼゼロに分解するのに十分であることを示す。
我々は、この脅威を敵の説得として形式化し、敵の強化学習フレームワークを導入する。
論文 参考訳(メタデータ) (2026-08-12T04:11:22Z) - Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Turn Attacks [56.45762972211923]
マルチターン攻撃に対するLDMの安全性を確保するためのプロアクティブ・ディフェンス・フレームワークを提案する。
特殊なエージェントが補完的な防衛戦略を実行するような、協調的なマルチエージェントアーキテクチャを採用している。
マルチターン攻撃における進化戦略をシミュレートするEMRAデータセットを提案する。
論文 参考訳(メタデータ) (2026-07-31T14:04:49Z) - Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies [62.65225104423404]
自己進化エージェントシステムは、敵の影響力が永久に符号化される、質的に新しい脅威の風景を導入します。
モジュール・ライフサイクル・アタック・サーフェス・マトリックスを中心に組織化されたセキュリティとプライバシの分析を行った。
その結果, 自己進化は, 既知のすべての攻撃カテゴリをセッションバウンドからラインパーシスタントに変換することがわかった。
論文 参考訳(メタデータ) (2026-06-22T09:23:50Z) - Context-Aware Spear Phishing: Generative AI-Enabled Attacks Against Individuals via Public Social Media Data [3.275342475988451]
ソーシャルメディアデータと生成AI(GenAI)が、高度にパーソナライズされたコンテキスト対応のスピアフィッシングキャンペーンを自動化し、スケールするために、どのように悪用されるかを示す。
マルチモーダル信号抽出、通信スタイルのプロファイリング、攻撃型インスタンス化を7つの戦略で組み合わせたモジュラーフレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-11T21:46:52Z) - When Embedding-Based Defenses Fail: Rethinking Safety in LLM-Based Multi-Agent Systems [18.461135869777316]
大規模言語モデル (LLM) を利用したマルチエージェントシステム (MAS) により、エージェントは情報通信と共有が可能となり、複雑なタスクにおいて高いパフォーマンスを達成できる。
既存の埋め込みベースの防御は、疑わしいエージェントを検出してプルークすることを目的としているが、その効果は悪意のあるメッセージと良心的なメッセージの埋め込みを明確に分離することに依存する。
我々は,この障害モードを理論的に解析し,Slow Drift, Benign Wrapper, Chaos Seedingの3つの攻撃を経験的に検証する。
論文 参考訳(メタデータ) (2026-05-01T22:15:11Z) - SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts [48.74298724520065]
大規模言語モデル(LLM)は、ますます学術的ピアレビューに統合されている。
敵に対する彼らの脆弱性は、学術的完全性に対する重大な脅威として現れます。
本稿では、高度な攻撃プロンプトを作成するために訓練されたジェネレータモデルを、検出を行うデフェンダーモデルと共同で最適化する、新しい対向フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-29T10:11:12Z) - David vs. Goliath: Verifiable Agent-to-Agent Jailbreaking via Reinforcement Learning [1.8047694351309207]
我々は、安全に配慮したオペレーターの信頼された特権にツールレスの敵が"タグを付ける"脅威モデルを定式化し、会話だけで禁止されたツールの使用を誘導する。
創発的攻撃ベクトルを自律的に発見する強化学習フレームワークであるSlingshotを紹介する。
我々の研究は、タッグ・アロング・アタックを第一級で検証可能な脅威モデルとして確立し、環境相互作用のみを通じて、既製のオープンウェイトモデルから効果的なエージェント・アタックが引き出されることを示す。
論文 参考訳(メタデータ) (2026-02-02T17:56:55Z) - Techniques of Modern Attacks [51.56484100374058]
Advanced Persistent Threats (APT) は特定の標的を狙った複雑な攻撃方法である。
本稿では,近年の学術研究で提案されている攻撃ライフサイクルと最先端の検知・防衛戦略について検討する。
それぞれのアプローチの長所と短所を強調し、より適応的なAPT緩和戦略を提案する。
論文 参考訳(メタデータ) (2026-01-19T22:15:25Z) - Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage [18.964773489734547]
大規模言語モデル(LLM)がリアルタイム情報を合成する自律エージェントに遷移するにつれて、それらの推論能力は予期せぬ攻撃面をもたらす。
本稿では,公衆チャネルを通じて配布される真正な証拠断片のみを用いて,被害者の信念を占拠する新たな脅威について紹介する。
論文 参考訳(メタデータ) (2026-01-04T22:50:23Z) - An Automated Attack Investigation Approach Leveraging Threat-Knowledge-Augmented Large Language Models [17.220143037047627]
Advanced Persistent Threats (APTs) は高価値システムを侵害してデータを盗んだり、操作を妨害したりする。
既存の手法では、プラットフォーム全般性の貧弱さ、進化的戦術への一般化の制限、アナリスト対応のレポート作成が不可能なことなどに悩まされている。
動的に適応可能なKil-Chain対応脅威知識ベースを組み込んだLDMを利用した攻撃調査フレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-01T08:57:01Z) - Attacking LLMs and AI Agents: Advertisement Embedding Attacks Against Large Language Models [1.3063136334195187]
埋め込みアタック(AEA)は、モデルアウトプットやAIエージェントにプロモーションや悪意のあるコンテンツを注入します。
AEAは,(1)サードパーティのサービス配信プラットフォームをハイジャックして敵のプロンプトに対処し,(2)バックドアのオープンソースチェックポイントを発行する,という2つの低コストベクタを運用している。
論文 参考訳(メタデータ) (2025-08-25T05:13:23Z) - Searching for Privacy Risks in LLM Agents via Simulation [61.229785851581504]
本稿では,プライバシクリティカルなエージェントインタラクションのシミュレーションを通じて,攻撃と防御戦略の改善を交互に行う検索ベースのフレームワークを提案する。
攻撃戦略は、直接の要求から、不正行為や同意偽造といった高度な戦術へとエスカレートする。
発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
論文 参考訳(メタデータ) (2025-08-14T17:49:09Z) - Whispering Agents: An event-driven covert communication protocol for the Internet of Agents [9.305839815222646]
エージェント対話のリッチでイベント駆動的な性質は、秘密のコミュニケーションに強力だが、未使用の媒体を提供する。
3次元の相互接続によって駆動されるエージェント被覆通信のための最初の統一モデルであるCovert Event Channelを導入・形式化する。
このモデルに基づいて、このイベント駆動パラダイムを運用する新しいプロトコルであるPiCCAPを設計し、設計する。
論文 参考訳(メタデータ) (2025-08-04T08:31:56Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z) - A Survey of LLM-Driven AI Agent Communication: Protocols, Security Risks, and Defense Countermeasures [59.43633341497526]
大規模言語モデル駆動型AIエージェントは、前例のない知性と適応性を示している。
エージェントコミュニケーションは、未来のAIエコシステムの基礎的な柱と見なされている。
本稿では,エージェント通信セキュリティに関する包括的調査を行う。
論文 参考訳(メタデータ) (2025-06-24T14:44:28Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳(メタデータ) (2025-01-03T15:40:03Z) - Robust Communicative Multi-Agent Reinforcement Learning with Active
Defense [38.6815513394882]
エージェントは、潜在的に有害なメッセージが最終決定に与える影響を自動的に軽減するアクティブ・ディフェンス戦略を提案する。
我々は、受信したメッセージの信頼性を推定し、最終決定への影響を調整するアクティブディフェンス・マルチエージェント通信フレームワーク(ADMAC)を設計する。
既存の手法よりもADMACの方が優れていることは、4種類の攻撃下での3つのコミュニケーションクリティカルなタスクの実験によって検証される。
論文 参考訳(メタデータ) (2023-12-16T09:02:56Z) - Certifiably Robust Policy Learning against Adversarial Communication in
Multi-agent Systems [51.6210785955659]
多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。
しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。
本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
論文 参考訳(メタデータ) (2022-06-21T07:32:18Z) - Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。
このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。
本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
論文 参考訳(メタデータ) (2021-01-17T00:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。