論文の概要: More Agents Helps but Adversarial Robustness Gap Persists

• arxiv url: http://arxiv.org/abs/2511.07112v1
• Date: Mon, 10 Nov 2025 13:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.286668
• Title: More Agents Helps but Adversarial Robustness Gap Persists
• Title（参考訳）: 対人ロバスト性ギャップペシストを支援するエージェント
• Authors: Khashayar Alavi, Zhastay Yeltay, Lucie Flek, Akbar Karimi,
• Abstract要約: LLMエージェントが一緒に働くと、数学的な質問応答において、1つのLLMよりも強力なように見える。 本稿では,逆摂動問題を用いてこの問題を考察する。
• 参考スコア（独自算出の注目度）: 10.507110902601466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When LLM agents work together, they seem to be more powerful than a single LLM in mathematical question answering. However, are they also more robust to adversarial inputs? We investigate this question using adversarially perturbed math questions. These perturbations include punctuation noise with three intensities (10, 30, and 50 percent), plus real-world and human-like typos (WikiTypo, R2ATA). Using a unified sampling-and-voting framework (Agent Forest), we evaluate six open-source models (Qwen3-4B/14B, Llama3.1-8B, Mistral-7B, Gemma3-4B/12B) across four benchmarks (GSM8K, MATH, MMLU-Math, MultiArith), with various numbers of agents n from one to 25 (1, 2, 5, 10, 15, 20, 25). Our findings show that (1) Noise type matters: punctuation noise harm scales with its severity, and the human typos remain the dominant bottleneck, yielding the largest gaps to Clean accuracy and the highest ASR even with a large number of agents. And (2) Collaboration reliably improves accuracy as the number of agents, n, increases, with the largest gains from one to five agents and diminishing returns beyond 10 agents. However, the adversarial robustness gap persists regardless of the agent count.
• Abstract（参考訳）: LLMエージェントが一緒に働くと、数学的な質問応答において、1つのLLMよりも強力なように見える。 しかし、敵の入力にも頑丈なのだろうか? 本稿では,逆摂動問題を用いてこの問題を考察する。 これらの摂動には、3つの強度(10、30、50%)の句読音と、現実世界と人間のようなタイプ(WikiTypo、R2ATA)が含まれる。 4つのベンチマーク(GSM8K, MATH, MMLU-Math, MultiArith)で6つのオープンソースモデル(Qwen3-4B/14B, Llama3.1-8B, Mistral-7B, Gemma3-4B/12B)を1から25までのエージェント数nで評価した。 以上の結果から,(1) 騒音の種類は, 音害は重度で拡大し, ヒトのタイプミスは依然として支配的なボトルネックであり, クリーニング精度が最も高く, エージェント数の多いASRが最も高いことが示唆された。 2) 協調は, エージェント数nが増加し, 最大利得が1個から5個に増加し, 10個以上のリターンが減少するにつれて, 精度を確実に向上させる。 しかし, エージェント数にかかわらず, 対向ロバスト性ギャップは持続する。

関連論文リスト

• Echoes of Human Malice in Agents: Benchmarking LLMs for Multi-Turn Online Harassment Attacks [10.7231991032233]
  大規模言語モデル(LLM)エージェントは、対話型Webアプリケーションのシェアを拡大するが、誤用や害に弱いままである。 i) 合成マルチターンハラスメント会話データセット、(ii) 繰り返しゲーム理論によって通知されるマルチエージェント(例えば、ハラッサー、被害者)シミュレーション、(iii) 記憶、計画、微調整にまたがるエージェントを攻撃する3つのジェイルブレイク手法、(iv) 混合メソッド評価フレームワークからなるオンラインハラスメントエージェントベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-10-16T01:27:44Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Tree of Agents: Improving Long-Context Capabilities of Large Language Models through Multi-Perspective Reasoning [11.045096250408067]
  Tree of Agents(TOA)は、インプットを独立したエージェントによって処理されたチャンクに分割するマルチエージェント推論フレームワークである。 TOAは、エージェントが複数のパースペクティブな理解のために異なる推論順序を探索することを可能にする。 処理効率を向上させるため,プレフィックスハッシュキャッシュと適応型プルーニング戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-09-08T08:34:02Z)
• Know the Ropes: A Heuristic Strategy for LLM-based Multi-Agent System Design [27.246783209927464]
  Know-The-Ropesは、ドメインの優先順位をアルゴリズムの青写真階層に変換するフレームワークである。 3つのGPT-4o-miniエージェントは、1つのボトルネックエージェントをパッチした後、サイズ5のインスタンスで3%ゼロショットから95%に精度を上げる。
  論文  参考訳（メタデータ） (2025-05-22T17:52:33Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。