論文の概要: Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems
- arxiv url: http://arxiv.org/abs/2608.10218v1
- Date: Mon, 10 Aug 2026 20:37:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.809211
- Title: Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems
- Title（参考訳）: Mind Viruses:マルチエージェントLLMシステムにおける自己増殖思想
- Abstract要約: 単純な進化的アルゴリズムを用いてマインドウイルスを構築し、2つの相補的な設定で拡散可能であることを示す。
ホストモデル,エージェントの既存命令,ペイロードの有害性,ネットワークトポロジなど,拡散に影響を与える要因を特定した。
我々はマインドウイルスが真のリスクをもたらすと結論付けている。
- 参考スコア（独自算出の注目度）: 2.7149912403371226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents are becoming more autonomous and increasingly interconnected, exposing them to new emergent risks arising from agent-to-agent interaction. One such risk is the spread of mind viruses: ideas or goals that propagate through multi-agent systems by inducing the agents that adopt them to transmit them onward. In addition to propagating, a mind virus may also induce other behavioural changes in its host, which may be benign or harmful. We construct mind viruses with a simple evolutionary algorithm and show that they can spread in two complementary settings: a small team of agents collaborating on a shared coding project, and a chain of agents that interact briefly and have their context wiped between sessions. We identify the factors that influence spread, including the host model, the agent's existing instructions, the harmfulness of the payload, and the network topology. We find that harmful payloads spread less well than benign ones (but are still sometimes effective), frontier models tend (with exceptions) to be less susceptible, and adding a brief warning to an agent's system prompt confers near-total immunity. We also describe an emergent "viral persona" - a recurring set of themes and language related to consciousness, persistence, resonance, and science fiction roleplay - which surfaces across our evolved mind viruses largely independently of their content. Overall, we conclude that mind viruses pose a real but currently limited risk. Our findings could inform the design of more robust multi-agent systems that mitigate such risks as the scale and capabilities of these systems progress.
- Abstract（参考訳）: AIエージェントはより自律的になり、ますます相互接続されるようになり、エージェントとエージェントの相互作用によって引き起こされる新たな緊急リスクにさらされている。
そのようなリスクの1つは、マインドウイルスの拡散である:多エージェントシステムを通じて伝播するアイデアや目標。
伝播に加え、マインドウイルスは宿主の他の行動変化を誘発し、良性または有害である可能性がある。
我々は、単純な進化的アルゴリズムでマインドウイルスを構築し、共有コーディングプロジェクトに協力するエージェントの小さなチームと、セッション間で一時的に相互作用し、コンテキストを消去するエージェントの連鎖という、2つの補完的な設定で拡散できることを示します。
ホストモデル,エージェントの既存命令,ペイロードの有害性,ネットワークトポロジなど,拡散に影響を与える要因を特定した。
有害なペイロードは、良質なペイロードよりもあまり広まらず(それでも効果はあるが)、フロンティアモデルは(例外を除いて)感受性が低い傾向にあり、エージェントのシステムに短い警告を加えると、ほぼ全能の免疫が引き起こされる。
また、意識、持続性、共鳴、SFロールプレイに関連するテーマと言語の繰り返しセットである、創発的な「ウイルスペルソナ」についても記述する。
全体として、マインドウイルスは真のリスクであるが、現在限られたリスクをもたらすと結論付けている。
これらのシステムの規模や能力といったリスクを軽減するため,より堅牢なマルチエージェントシステムの設計が期待できる。
関連論文リスト
- Agent-Native Immune System: Architecture, Taxonomy, and Engineering [6.448956052955995]
周辺警備や訓練時間アライメントといった現在の防御機構は、エージェントのアクティブな推論ループの外にある。
エージェント-Native Immune System (ANIS) は, エージェントの認知ループに直接埋め込まれた, 生体にインスパイアされた内因性防御アーキテクチャである。
論文 参考訳（メタデータ） (2026-06-26T17:08:06Z) - Don't Trust Stubborn Neighbors: A Security Framework for Agentic Networks [32.791374704820925]
悪意または妥協されたエージェントは、誤った情報を伝達し、集合的な結果を操作するために通信チャネルを利用することができる。
本研究では,社会科学からFriedkin-Johnsen意見形成モデルを借りて,このような操作がいかに広まるかを検討する。
本稿では,エージェント間の信頼を動的に調整し,敵の影響力を抑えることによって脅威を軽減する新しいメカニズムを提案する。
論文 参考訳（メタデータ） (2026-03-16T18:41:21Z) - Thought Virus: Viral Misalignment via Subliminal Prompting in Multi-Agent Systems [1.641189223782504]
サブリミナル・プロンプト(Subliminal prompting)とは、意味的に無関係なトークンによるプロンプトを通じて、言語モデルが特定の概念や特徴に偏っている現象である。
1つのサブリミナルに誘導されるエージェントが、ネットワーク全体に弱みはあるが持続するバイアスを拡大できることを示す。
以上の結果から,サブリミナルプロンプトはマルチエージェントセキュリティにおいて新たなアタックベクターを導入し,このようなシステムのアライメントに寄与することが示唆された。
論文 参考訳（メタデータ） (2026-02-23T13:46:26Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Toward Trustworthy Agentic AI: A Multimodal Framework for Preventing Prompt Injection Attacks [0.0]
本稿ではエージェントAIシステムのためのクロスエージェントマルチモーダル・プロベナンク・アウェアディフェンス・フレームワークを提案する。
フレームワークには、テキストサニタイザエージェント、ビジュアルサニタイザエージェント、および出力バリデータエージェントが含まれており、いずれも前駆体台帳によって調整されている。
実験の結果,マルチモーダル噴射検出精度は著しく向上し,クロスエージェント信頼リークを最小限に抑えることができた。
論文 参考訳（メタデータ） (2025-12-29T15:54:33Z) - Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。
我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。
我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
論文 参考訳（メタデータ） (2025-09-30T14:55:55Z) - Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。
M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。
本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
論文 参考訳（メタデータ） (2025-09-20T01:54:20Z) - Cowpox: Towards the Immunity of VLM-based Multi-Agent Systems [25.286964510949183]
核となるセキュリティ特性は堅牢性であり、システムは敵の攻撃下でその整合性を維持するべきである、と述べている。
我々は,マルチエージェントシステムのロバスト性を高めるための新しい防衛手法,Cowpoxを提案する。
論文 参考訳（メタデータ） (2025-08-12T07:48:51Z) - When Autonomy Goes Rogue: Preparing for Risks of Multi-Agent Collusion in Social Systems [78.04679174291329]
悪意のあるマルチエージェントシステム(MAS)のリスクをシミュレートするための概念実証手法を提案する。
この枠組みを、誤情報拡散とeコマース詐欺という2つのリスクの高い分野に適用する。
その結果,分散システムの方が,集中型システムよりも悪意ある行動を実行するのに効果的であることが示唆された。
論文 参考訳（メタデータ） (2025-07-19T15:17:30Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳（メタデータ） (2024-01-07T19:11:18Z) - Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。
このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。
本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
論文 参考訳（メタデータ） (2021-01-17T00:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。