論文の概要: Goal-Aware Identification and Rectification of Misinformation in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2506.00509v1
• Date: Sat, 31 May 2025 11:02:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.649209
• Title: Goal-Aware Identification and Rectification of Misinformation in Multi-Agent Systems
• Title（参考訳）: マルチエージェントシステムにおける目標認識による誤情報の識別と再現
• Authors: Zherui Li, Yan Mi, Zhenhong Zhou, Houcheng Jiang, Guibin Zhang, Kun Wang, Junfeng Fang,
• Abstract要約: 大規模言語モデルに基づくマルチエージェントシステム(MAS)は、複雑な実世界のタスクに対処する上で、強力なアドバンテージを示している。 MASは特に、追加の攻撃面の導入により誤情報注入に弱い。 このような脅威に対してMASを評価するために設計された、複雑で現実的なタスクを特徴とする新しいデータセットであるMisinfoTaskを紹介する。 本稿では、目標認識推論を利用した2段階無訓練防衛フレームワークARGUSを提案する。
• 参考スコア（独自算出の注目度）: 3.6264967654490334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model-based Multi-Agent Systems (MASs) have demonstrated strong advantages in addressing complex real-world tasks. However, due to the introduction of additional attack surfaces, MASs are particularly vulnerable to misinformation injection. To facilitate a deeper understanding of misinformation propagation dynamics within these systems, we introduce MisinfoTask, a novel dataset featuring complex, realistic tasks designed to evaluate MAS robustness against such threats. Building upon this, we propose ARGUS, a two-stage, training-free defense framework leveraging goal-aware reasoning for precise misinformation rectification within information flows. Our experiments demonstrate that in challenging misinformation scenarios, ARGUS exhibits significant efficacy across various injection attacks, achieving an average reduction in misinformation toxicity of approximately 28.17% and improving task success rates under attack by approximately 10.33%. Our code and dataset is available at: https://github.com/zhrli324/ARGUS.
• Abstract（参考訳）: 大規模言語モデルに基づくマルチエージェントシステム(MAS)は、複雑な実世界のタスクに対処する上で、強力なアドバンテージを示している。 しかし、追加の攻撃面の導入により、MASは特に誤情報注入に弱い。 これらのシステム内での誤情報伝達のダイナミクスをより深く理解するために,このような脅威に対してMASの堅牢性を評価するために設計された,複雑で現実的なタスクを特徴とする新しいデータセットであるMisinfoTaskを紹介した。 これに基づいて、情報フロー内の正確な誤情報修正にゴール認識推論を活用する2段階の訓練不要防衛フレームワークARGUSを提案する。 実験の結果,ARGUSは様々な注射攻撃に対して有意な有効性を示し,約28.17%の誤情報毒性を平均で減少させ,攻撃時のタスク成功率を約10.33%向上させることができた。 私たちのコードとデータセットは、https://github.com/zhrli324/ARGUS.comで公開されています。

関連論文リスト

• TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [71.81906608221038]
  大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。 提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。 提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T06:23:31Z)
• Knowledge Transfer from LLMs to Provenance Analysis: A Semantic-Augmented Method for APT Detection [1.2571354974258824]
  本稿では,大規模言語モデル (LLM) をプロビタンスに基づく脅威検出に活用するための新しい戦略を提案する。 LLMは、証明データの解釈、システムコールの知識、ソフトウェアアイデンティティ、アプリケーション実行コンテキストの高レベルな理解など、さらなる詳細を提供する。 本評価では,教師付き脅威検出の精度は99.0%であり,半教師付き異常検出の精度は96.9%である。
  論文  参考訳（メタデータ） (2025-03-24T03:51:09Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems [4.71242457111104]
  大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。 主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。 本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-08-07T02:48:22Z)
• Automatic and Universal Prompt Injection Attacks against Large Language Models [38.694912482525446]
  LLM(Large Language Models)は、命令を解釈し、従う能力によって、人間の言語を処理し、生成する際、優れた言語モデルである。 これらの攻撃はアプリケーションを操作して、ユーザの実際の要求から逸脱して、攻撃者のインジェクトされたコンテンツに対応する応答を生成する。 本稿では,プロンプトインジェクション攻撃の目的を理解するための統合フレームワークを導入し,高効率で普遍的なインジェクションデータを生成するための自動勾配ベース手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:46:20Z)
• On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Forcing Generative Models to Degenerate Ones: The Power of Data Poisoning Attacks [10.732558183444985]
  悪意のあるアクターは、望ましくない出力を生成することを目的とした中毒攻撃を通じて、大きな言語モデル(LLM)の脆弱性を隠蔽的に利用することができる。 本報告では, 様々な生成タスクにおいて, その有効性を評価するために, 様々な中毒技術について検討する。 本研究は, 微調整段階において, 全チューニングデータサンプルの1%程度を用いてLSMに毒を盛ることが可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T23:26:06Z)
• Unveiling Vulnerabilities in Interpretable Deep Learning Systems with Query-Efficient Black-box Attacks [16.13790238416691]
  解釈可能なディープラーニングシステム(IDLS)は、システムの透明性と説明性を高めるために設計されている。 本稿では,ターゲットモデルとその解釈モデルに関する事前知識を必要としない新規な微生物遺伝アルゴリズムによるIDLSに対するブラックボックス攻撃を提案する。
  論文  参考訳（メタデータ） (2023-07-21T21:09:54Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• On Adversarial Examples and Stealth Attacks in Artificial Intelligence Systems [62.997667081978825]
  本稿では,汎用人工知能(AI)システムに対する2種類の多元性行動の評価と分析を行うための公式な枠組みを提案する。 最初のクラスは、逆例を含み、誤分類を引き起こす入力データの小さな摂動の導入を懸念する。 第2のクラスは、ここで初めて導入され、ステルス攻撃と名付けられたもので、AIシステム自体に対する小さな摂動を伴う。
  論文  参考訳（メタデータ） (2020-04-09T10:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。