論文の概要: Investigating the Adaptive Robustness with Knowledge Conflicts in LLM-based Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2502.15153v1
- Date: Fri, 21 Feb 2025 02:24:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 21:37:39.039896
- Title: Investigating the Adaptive Robustness with Knowledge Conflicts in LLM-based Multi-Agent Systems
- Title（参考訳）: LLMに基づくマルチエージェントシステムにおける知識衝突による適応ロバスト性の検討
- Authors: Tianjie Ju, Bowen Wang, Hao Fei, Mong-Li Lee, Wynne Hsu, Yun Li, Qianren Wang, Pengzhou Cheng, Zongru Wu, Zhuosheng Zhang, Gongshen Liu,
- Abstract要約: マルチエージェントシステム(MAS)のロバスト性を調べるための総合的な4つのメトリクスを設計する。
まず、異種エージェントが導入した穏やかな知識紛争を分析し、システムの堅牢性を損なうことなく、協調的な意思決定を改善することを発見した。
最後に、知識衝突数、エージェント数、相互作用ラウンドに関するアブレーション研究を行い、MASの自己修復能力に固有の限界があることを見出した。
- 参考スコア（独自算出の注目度）: 39.390472904456836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Large Language Models (LLMs) have upgraded them from sophisticated text generators to autonomous agents capable of corporation and tool use in multi-agent systems (MASs). However, the robustness of these LLM-based MASs, especially under knowledge conflicts, remains unclear. In this paper, we design four comprehensive metrics to investigate the robustness of MASs when facing mild or task-critical knowledge conflicts. We first analyze mild knowledge conflicts introduced by heterogeneous agents and find that they do not harm system robustness but instead improve collaborative decision-making. Next, we investigate task-critical knowledge conflicts by synthesizing knowledge conflicts and embedding them into one of the agents. Our results show that these conflicts have surprisingly little to no impact on MAS robustness. Furthermore, we observe that MASs demonstrate certain self-repairing capabilities by reducing their reliance on knowledge conflicts and adopting alternative solution paths to maintain stability. Finally, we conduct ablation studies on the knowledge conflict number, agent number, and interaction rounds, finding that the self-repairing capability of MASs has intrinsic limits, and all findings hold consistently across various factors. Our code is publicly available at https://github.com/wbw625/MultiAgentRobustness.
- Abstract（参考訳）: 近年のLLM(Large Language Models)の進歩は、高度なテキストジェネレータから、企業やマルチエージェントシステム(MAS)で使える自律エージェントにアップグレードされている。
しかし、これらのLSMベースのMASの堅牢性は、特に知識の対立の下では、まだ不明である。
本稿では,タスククリティカルな知識紛争に直面する場合のMASの堅牢性を検討するために,総合的な4つの指標を設計する。
まず、異種エージェントが導入した穏やかな知識紛争を分析し、システムの堅牢性を損なうことなく、協調的な意思決定を改善する。
次に、課題クリティカルな知識紛争を、知識紛争を合成し、それらをエージェントの1つに埋め込むことで調査する。
以上の結果から,これらの対立はMASの堅牢性に驚くほどほとんど影響しないことが明らかとなった。
さらに,MASは知識紛争への依存を減らし,安定性を維持するための代替ソリューションパスを採用することにより,ある種の自己修復能力を示す。
最後に、知識衝突数、エージェント数、相互作用ラウンドに関するアブレーション研究を行い、MASの自己修復能力には固有の限界があり、すべての発見が様々な要因で一貫して保持されていることを発見した。
私たちのコードはhttps://github.com/wbw625/MultiAgentRobustness.comで公開されています。
関連論文リスト
- Why Do Multi-Agent LLM Systems Fail? [91.39266556855513]
MAST(Multi-Agent System Failure taxonomy, MAST)は,MASの故障を理解するために考案された分類法である。
我々は、200以上のタスクにまたがる7つの人気のあるMASフレームワークを分析し、6つの専門家のアノテータを含む。
14のユニークな障害モードを特定し、(i)仕様問題、(ii)エージェント間ミスアライメント、(iii)タスク検証の3つに分類した。
論文 参考訳（メタデータ） (2025-03-17T19:04:38Z) - KOALA: Knowledge Conflict Augmentations for Robustness in Vision Language Models [6.52323086990482]
segsubは、画像ソースに標的摂動を適用して、視覚言語モデルの堅牢性を研究し改善するフレームワークである。
以前の知見とは対照的に,VLMは画像摂動に強い。
GPT-4oによる幻覚と画像コンテキストの関連性を見出した。
論文 参考訳（メタデータ） (2025-02-19T00:26:38Z) - Is Cognition consistent with Perception? Assessing and Mitigating Multimodal Knowledge Conflicts in Document Understanding [15.828455477224516]
マルチモーダルタスクとして、文書理解には知覚能力と認知能力の両方を持つモデルが必要である。
本稿では,認知と知覚の対立を認知と知覚の対立(C&P)として定義する。
本稿では,C&Pの知識紛争を軽減するために,マルチモーダル知識一貫性ファインタニング(Multimodal Knowledge Consistency Fine-tuning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T11:28:50Z) - Insight Over Sight? Exploring the Vision-Knowledge Conflicts in Multimodal LLMs [55.74117540987519]
本稿では,マルチモーダル大言語モデル(MLLM)におけるコモンセンスレベルの視覚知識衝突の問題について考察する。
MLLMのコンフリクトのシミュレーションと評価を目的としたベンチマークを確立するため,人間のループ品質制御を付加した自動パイプラインを導入する。
各種モデルファミリーにおける9つの代表MLLMのコンフリクト分解能を評価し,テキストクエリに顕著なオーバー信頼度を求める。
論文 参考訳（メタデータ） (2024-10-10T17:31:17Z) - ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。
本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T07:41:17Z) - ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM [36.332500824079844]
大規模言語モデル (LLM) は、多くの分野にわたって顕著な進歩を遂げてきたが、知識紛争の重大な問題は研究されることはめったにない。
我々は3つの側面から知識衝突を評価するために開発された最初の総合ベンチマークであるConflictBankを紹介する。
本研究は, 誤情報, 時間的相違, 意味的相違から生じる対立を慎重に分析し, 4つのモデルファミリーと12個のLLMインスタンスに分類した。
論文 参考訳（メタデータ） (2024-08-22T02:33:13Z) - Towards Rationality in Language and Multimodal Agents: A Survey [23.451887560567602]
この研究は、より合理的な言語とマルチモーダルエージェントを構築する方法について議論する。
合理性は理性によって導かれる性質であり、証拠や論理原理と整合した意思決定によって特徴づけられる。
論文 参考訳（メタデータ） (2024-06-01T01:17:25Z) - MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。
我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。
我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
論文 参考訳（メタデータ） (2023-11-16T08:52:27Z) - Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。
知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。
文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-02T06:57:45Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [55.66353783572259]
Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。
我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
論文 参考訳（メタデータ） (2023-08-23T04:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。