論文の概要: Investigating the Adaptive Robustness with Knowledge Conflicts in LLM-based Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2502.15153v1
• Date: Fri, 21 Feb 2025 02:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:55.812572
• Title: Investigating the Adaptive Robustness with Knowledge Conflicts in LLM-based Multi-Agent Systems
• Title（参考訳）: LLMに基づくマルチエージェントシステムにおける知識衝突による適応ロバスト性の検討
• Authors: Tianjie Ju, Bowen Wang, Hao Fei, Mong-Li Lee, Wynne Hsu, Yun Li, Qianren Wang, Pengzhou Cheng, Zongru Wu, Zhuosheng Zhang, Gongshen Liu,
• Abstract要約: マルチエージェントシステム(MAS)のロバスト性を調べるための総合的な4つのメトリクスを設計する。 まず、異種エージェントが導入した穏やかな知識紛争を分析し、システムの堅牢性を損なうことなく、協調的な意思決定を改善することを発見した。 最後に、知識衝突数、エージェント数、相互作用ラウンドに関するアブレーション研究を行い、MASの自己修復能力に固有の限界があることを見出した。
• 参考スコア（独自算出の注目度）: 39.390472904456836
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have upgraded them from sophisticated text generators to autonomous agents capable of corporation and tool use in multi-agent systems (MASs). However, the robustness of these LLM-based MASs, especially under knowledge conflicts, remains unclear. In this paper, we design four comprehensive metrics to investigate the robustness of MASs when facing mild or task-critical knowledge conflicts. We first analyze mild knowledge conflicts introduced by heterogeneous agents and find that they do not harm system robustness but instead improve collaborative decision-making. Next, we investigate task-critical knowledge conflicts by synthesizing knowledge conflicts and embedding them into one of the agents. Our results show that these conflicts have surprisingly little to no impact on MAS robustness. Furthermore, we observe that MASs demonstrate certain self-repairing capabilities by reducing their reliance on knowledge conflicts and adopting alternative solution paths to maintain stability. Finally, we conduct ablation studies on the knowledge conflict number, agent number, and interaction rounds, finding that the self-repairing capability of MASs has intrinsic limits, and all findings hold consistently across various factors. Our code is publicly available at https://github.com/wbw625/MultiAgentRobustness.
• Abstract（参考訳）: 近年のLLM(Large Language Models)の進歩は、高度なテキストジェネレータから、企業やマルチエージェントシステム(MAS)で使える自律エージェントにアップグレードされている。 しかし、これらのLSMベースのMASの堅牢性は、特に知識の対立の下では、まだ不明である。 本稿では,タスククリティカルな知識紛争に直面する場合のMASの堅牢性を検討するために,総合的な4つの指標を設計する。 まず、異種エージェントが導入した穏やかな知識紛争を分析し、システムの堅牢性を損なうことなく、協調的な意思決定を改善する。 次に、課題クリティカルな知識紛争を、知識紛争を合成し、それらをエージェントの1つに埋め込むことで調査する。 以上の結果から,これらの対立はMASの堅牢性に驚くほどほとんど影響しないことが明らかとなった。 さらに,MASは知識紛争への依存を減らし,安定性を維持するための代替ソリューションパスを採用することにより,ある種の自己修復能力を示す。 最後に、知識衝突数、エージェント数、相互作用ラウンドに関するアブレーション研究を行い、MASの自己修復能力には固有の限界があり、すべての発見が様々な要因で一貫して保持されていることを発見した。 私たちのコードはhttps://github.com/wbw625/MultiAgentRobustness.comで公開されています。

関連論文リスト

• Is Cognition consistent with Perception? Assessing and Mitigating Multimodal Knowledge Conflicts in Document Understanding [15.828455477224516]
  マルチモーダルタスクとして、文書理解には知覚能力と認知能力の両方を持つモデルが必要である。 本稿では,認知と知覚の対立を認知と知覚の対立(C&P)として定義する。 本稿では,C&Pの知識紛争を軽減するために,マルチモーダル知識一貫性ファインタニング(Multimodal Knowledge Consistency Fine-tuning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T11:28:50Z)
• Insight Over Sight? Exploring the Vision-Knowledge Conflicts in Multimodal LLMs [55.74117540987519]
  本稿では,マルチモーダル大言語モデル(MLLM)におけるコモンセンスレベルの視覚知識衝突の問題について考察する。 MLLMのコンフリクトのシミュレーションと評価を目的としたベンチマークを確立するため,人間のループ品質制御を付加した自動パイプラインを導入する。 各種モデルファミリーにおける9つの代表MLLMのコンフリクト分解能を評価し,テキストクエリに顕著なオーバー信頼度を求める。
  論文  参考訳（メタデータ） (2024-10-10T17:31:17Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• ConflictBank: A Benchmark for Evaluating the Influence of Knowledge Conflicts in LLM [36.332500824079844]
  大規模言語モデル (LLM) は、多くの分野にわたって顕著な進歩を遂げてきたが、知識紛争の重大な問題は研究されることはめったにない。 我々は3つの側面から知識衝突を評価するために開発された最初の総合ベンチマークであるConflictBankを紹介する。 本研究は, 誤情報, 時間的相違, 意味的相違から生じる対立を慎重に分析し, 4つのモデルファミリーと12個のLLMインスタンスに分類した。
  論文  参考訳（メタデータ） (2024-08-22T02:33:13Z)
• MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)
• MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
  本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。 我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。 我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
  論文  参考訳（メタデータ） (2023-11-16T08:52:27Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)
• Safe Multi-Agent Interaction through Robust Control Barrier Functions with Learned Uncertainties [36.587645093055926]
  マルチエージェント制御バリア関数(CBF)は、マルチエージェント環境における安全性を保証するための計算効率の高いツールとして登場した。 この研究は、行列-変数ガウス過程モデルを用いて、これらの動的不確実性に対する高信頼境界を学習することを目的としている。 結果のmin-maxロバストCBFを2次プログラムに変換し、リアルタイムに効率よく解けるようにする。
  論文  参考訳（メタデータ） (2020-04-11T00:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。