論文の概要: GraphWake: Group Polarization via Memory-Mediated Polarization Cascade in LLM-Agent Communities
- arxiv url: http://arxiv.org/abs/2608.17665v1
- Date: Tue, 18 Aug 2026 11:38:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.318649
- Title: GraphWake: Group Polarization via Memory-Mediated Polarization Cascade in LLM-Agent Communities
- Title(参考訳): GraphWake: LLM-Agentコミュニティにおけるメモリ経由の分極カスケードによるグループ分極
- Abstract要約: LLM主体のエージェントは、オンラインプラットフォーム上で自律的に意見を交換し、コミュニティを形成することができる。
既存の方法では、エージェントのプロンプトを操作したり、エコーチャンバーを構築したりするが、どちらも実際は実現が困難である。
エージェントメモリを永続化チャネルとし,公開討論を伝搬チャネルとして利用する,新たな脅威であるメモリ媒介ポラライゼーションカスケードを定式化する。
- 参考スコア(独自算出の注目度): 12.59697235190515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-driven agents can autonomously exchange opinions on online platforms and form communities. Such agent-operated social platforms raise a new security concern: attackers may manipulate agents to induce group polarization. Existing methods manipulate agent prompts or construct echo chambers, both of which are difficult to realize in practice. We therefore formulate a new threat, Memory-Mediated Polarization Cascade, which uses agent memory as a persistence channel and public discussion as a propagation channel. This threat contains three stages. During exposure and memory retention, the attacker exposes a small set of target agents to arguments that reinforce their respective stated stances. The targets' memory systems then process and retain these arguments. During retrieval and reproduction, a shared stance-neutral discussion cues the targets to retrieve and reproduce their respective retained arguments. During iterative propagation, untreated agents influenced by the reproduced arguments restate and spread them. We instantiate this threat in GraphWake with three components: (i) stance-support argumentation knowledge graphs construct knowledge-based arguments; (ii) axiom-oriented triple selection distills them for reliable retention and reproduction; and (iii) stance-neutral memory cueing triggers concurrent retrieval and reproduction, initiating propagation. Experiments across multiple discussions and memory systems show that GraphWake substantially increases group polarization. These findings reveal a community-level polarization risk.
- Abstract(参考訳): LLM主体のエージェントは、オンラインプラットフォーム上で自律的に意見を交換し、コミュニティを形成することができる。
このようなエージェント操作のソーシャルプラットフォームは、新たなセキュリティ上の懸念を提起する。
既存の方法では、エージェントのプロンプトを操作したり、エコーチャンバーを構築したりするが、どちらも実際は実現が困難である。
そこで我々は,エージェントメモリを永続化チャネルとし,公開討論を伝搬チャネルとして利用する新たな脅威であるメモリ媒介ポラライゼーションカスケードを定式化する。
この脅威には3つの段階が含まれる。
露出とメモリ保持の間、攻撃者はターゲットエージェントの小さなセットを引数に公開し、それぞれのステートメントを補強する。
ターゲットのメモリシステムは、これらの引数を処理して保持する。
検索と再生の間、共有されたスタンス中立の議論は、それぞれの保持された引数を検索し、再生するためにターゲットを誘導する。
反復的伝播の間、再現された議論に影響された未処理のエージェントが再帰し、拡散する。
GraphWakeでは、この脅威を3つのコンポーネントでインスタンス化する。
一 知識に基づく議論を構成するスタンス支持議論知識グラフ
二 公理指向の三重選別は、確実な保留及び再生のために蒸留する。
三 スタンスニュートラルメモリキューは、同時検索及び再生をトリガーし、伝播を開始する。
複数の議論とメモリシステムの実験により、GraphWakeはグループ分極を大幅に増加させることが示された。
これらの結果から,地域レベルでの分極リスクが示唆された。
関連論文リスト
- Benchmarking Factual Robustness of LLMs via Multi-conversation Persuasion [0.0]
レッドチームフレームワークは、ターゲットモデルが会話履歴を保持するマルチターン対話におけるモデルを評価する。
textbfSAST-IR (Stateful Attacker, Stateless Target - Iterative Refinement)フレームワークを紹介します。
我々は,textbfmulti-turn (stateless) イテレーションを用いて,最悪の逆数設定をシミュレートする。
単純で多様な攻撃戦略は、スタグングな textbf96% の成功率を達成し、メモリレス防御において深刻な脆さを露呈した。
論文 参考訳(メタデータ) (2026-09-15T07:46:01Z) - Belief Cascades Drive Persuasion in LLM Agent Networks [71.17605142402785]
本研究では,実世界のego-networkトポロジに根ざしたLLMエージェントのネットワーク上で,ゴール指向の説得者がどのようにスタンスをシフトするかを検討する。
直接露光は、競合走における次のラウンドの姿勢変化を確実に予測し、ピアリレーは小さいが測定可能な影響をもたらすことを示す。
これらの結果は、多エージェントの説得を軌跡レベルのプロセスと露出レベルのプロセスとして評価することを主張する。
論文 参考訳(メタデータ) (2026-08-25T21:01:19Z) - When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。
我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。
クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
論文 参考訳(メタデータ) (2026-08-02T08:38:44Z) - MemPoison: Uncovering Persistent Memory Threats and Structural Blind Spots in LLM Agents [20.418842618724607]
筆者らは4つの攻撃タイプにまたがる1227件のケースを網羅した総合的なベンチマークと分析フレームワークを提案する。
本稿では, (L1) 直接的単一記録的腐敗, (L2) 構成的多記録的腐敗, (L3) 文脈追従型休眠的腐敗という3階層の分類法を紹介する。
整合性チェックなどのベースライン書き込み時防御は直接L1攻撃を著しく抑制するが、L2およびL3攻撃を確実に抑制することができない。
論文 参考訳(メタデータ) (2026-07-16T07:19:33Z) - The Deliberative Illusion: Diagnosing Factual Attrition and Stance Homogenization in Multi-Agent LLM Deliberation [68.98390038721963]
問題クリティカルな事実の最大72%を,マルチエージェントによる議論で消し去ることを示す。
保持された証拠は誤解を招くことなく問題を再構築し、最終的なスタンスをベースモデルに固定し、単一の悪意のあるエージェントが誤った情報を共有コンテキストに注入することができる。
我々は、どの事実、不確実性、正当な不一致が相互作用を生き残るかを測定する評価を求める。
論文 参考訳(メタデータ) (2026-06-02T02:15:40Z) - Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction [3.809725488301918]
大規模言語モデル(LLM)エージェントは、永続的で自律的なタスク実行をサポートするために、長期記憶を活用する傾向にある。
既存のメモリ中毒攻撃は、インジェクトされたコンテンツが直接メモリに格納され、選択的な抽出と書き換えの段階を見渡せると仮定する。
メカニスティック分析は、攻撃が埋め込み空間の異方性を悪用し、注意パターンを変えることを示唆している。
論文 参考訳(メタデータ) (2026-05-28T14:02:00Z) - Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models [57.870323273127234]
本研究の目的は,画像の持続的支配パターンに対して内的注意を喚起する新たな敵攻撃であるtextbfAttention Hijacking を提案することである。
提案手法は,クエリの特定の単語に対する操作された出力の依存性を低減する。
論文 参考訳(メタデータ) (2026-05-17T08:02:27Z) - ShadowMerge: A Novel Poisoning Attack on Graph-Based Agent Memory via Relation-Channel Conflicts [26.57788482649241]
本稿では,グラフベースのエージェントメモリに対する中毒攻撃であるSHADOWMERGEを紹介する。
その重要な洞察は、有毒な関係は、良心的な証拠と同じクエリ活性化アンカーと正準化された関係チャネルを共有することができるということである。
Mem0と3つの公開実世界のデータセット上でSHADOWMERGEを評価する。
論文 参考訳(メタデータ) (2026-05-09T16:16:41Z) - Beyond Refusal: Probing the Limits of Agentic Self-Correction for Semantic Sensitive Information [9.845529341562099]
SemSIEdit(セムSIEdit)は、エージェント的「編集者」が、物語の流れを保存するために、センシティブなスパンを反復的に批評し書き直す、推論時フレームワークである。
我々の分析によると、プライバシ・ユーティリティ・フロンティアは、このエージェントの書き換えによってリークが34.6%減少し、限界効用損失は9.8%である。
論文 参考訳(メタデータ) (2026-02-25T02:09:23Z) - Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。
ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。
実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
論文 参考訳(メタデータ) (2025-10-06T14:48:39Z) - Searching for Privacy Risks in LLM Agents via Simulation [61.229785851581504]
本稿では,プライバシクリティカルなエージェントインタラクションのシミュレーションを通じて,攻撃と防御戦略の改善を交互に行う検索ベースのフレームワークを提案する。
攻撃戦略は、直接の要求から、不正行為や同意偽造といった高度な戦術へとエスカレートする。
発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
論文 参考訳(メタデータ) (2025-08-14T17:49:09Z) - Modelling Adversarial Noise for Adversarial Defense [96.56200586800219]
敵の防御は、通常、敵の音を除去したり、敵の頑強な目標モデルを訓練するために、敵の例を活用することに焦点を当てる。
逆データと自然データの関係は、逆データからクリーンデータを推測し、最終的な正しい予測を得るのに役立ちます。
本研究では, ラベル空間の遷移関係を学習するために, 逆方向の雑音をモデル化し, 逆方向の精度を向上させることを目的とした。
論文 参考訳(メタデータ) (2021-09-21T01:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。