論文の概要: Auditable Belief Updates as a Missing Safety Layer for LLM-Powered Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2610.38869v1
• Date: Wed, 28 Oct 2026 20:40:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.005864
• Title: Auditable Belief Updates as a Missing Safety Layer for LLM-Powered Multi-Agent Systems
• Title（参考訳）: LLM方式マルチエージェントシステムにおける可聴性信頼度更新
• Abstract要約: 本稿では,下流行動の指針となるエビデンスに基づくコミットメントの工学的抽象化として,信念を定義した。 本稿では,信念状態を構造化基板に外部化する明示的信念多エージェントシステム(EB-MAS)を提案する。 また、グループレベルでの集団信念のリスクについても論じ、製造されたコンセンサス、共謀、偽情報のカスケードなどについて論じる。
• 参考スコア（独自算出の注目度）: 13.992146221170543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly being used as cognitive interfaces that shape how users interpret evidence, communicate, and make decisions. As deployed systems become more multimodal, tool-using, and multi-agent, safety failures no longer arise only from isolated harmful outputs, but also from how agents update, store, and propagate epistemic commitments across retrieval, memory, tools, and peer communication. In this paper, we define belief as an engineering abstraction for evidence-based commitments that guide downstream action. Building on this view, we propose the Explicit Belief Multi-Agent System (EB-MAS), which externalizes belief states into a structured substrate, uses belief operators to propose candidate updates, and applies a Cognitive Firewall to bound or reject updates that are weakly evidenced but strongly driven by vulnerability cues. We also discuss the risk of group belief at the group level, including manufactured consensus, collusion, and cascading misinformation, and outline practical integration challenges around grounding, false positives, scalability, and ethical misuse. Therefore, scalable agent safety requires not only better output filtering or stronger base models, but also explicit interfaces for tracing, calibrating, and constraining belief revision at runtime.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ユーザがエビデンスを解釈し、コミュニケーションし、意思決定する方法を形成する認知インターフェースとして、ますます使われています。 デプロイされたシステムがよりマルチモーダル、ツール使用、マルチエージェントになるにつれて、安全上の障害は、孤立した有害な出力だけでなく、エージェントが検索、メモリ、ツール、ピア通信を横断する疫学的なコミットメントを更新、保存、伝播する方法からも生じる。 本稿では,下流行動の指針となるエビデンスに基づくコミットメントの工学的抽象化として信仰を定義する。 この観点から, 信念状態を構造化基板に外部化し, 信念演算子を用いて候補更新を提案し, 弱い証拠を持つが, 脆弱性回避によって強く駆動される更新に認知ファイアウォールを適用した Explicit Belief Multi-Agent System (EB-MAS) を提案する。 また、グループレベルでの集団信条のリスクについても論じ、製造されたコンセンサス、共謀、カスケード誤報などについて論じ、根拠付け、偽陽性、スケーラビリティ、倫理的誤用に関する実践的な統合課題を概説する。 したがって、スケーラブルなエージェントの安全性には、より良い出力フィルタリングや強力なベースモデルだけでなく、実行時にトレース、校正、リビジョンの制約を行うための明示的なインターフェースも必要である。

関連論文リスト

• Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems [4.134513558120981]
  大きな言語モデル上に構築されたエージェントAIシステムは、複数のステップを計画し、外部ツールを使用し、メモリに情報を保持し、他のエージェントと調整することができる。 これらの機能は静的言語モデルよりも有用であるが、新たなセキュリティと運用上のリスクも導入している。 この記事では、5つの相互接続された次元にわたるエージェントAIの信頼性についてレビューする。
  論文  参考訳（メタデータ） (2026-09-19T02:47:37Z)
• Adversarial Attacks in Multi-Agent LLM Pipelines: Unveiling Structural Vulnerabilities in Agentic AI Architectures [4.053243845971823]
  マルチエージェントLLMパイプラインは、特殊な言語モデルエージェントを構造化し、中間出力をエージェント間で渡して複雑なタスクを解決する。 この設計では、単一のエージェント設定にないセキュリティギャップが導入されている。 この脆弱性は、エージェント間の境界を越える際に、データの明示的な検証を強制するセキュリティプリミティブである境界検証の欠如に起因している、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-08-01T15:35:58Z)
• Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
  エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。 この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。 各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
  論文  参考訳（メタデータ） (2026-05-17T10:26:37Z)
• CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
  LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。 既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。 動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
  論文  参考訳（メタデータ） (2026-02-23T06:41:41Z)
• Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
  textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。 これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。 この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T03:53:25Z)
• Exposing Weak Links in Multi-Agent Systems under Adversarial Prompting [5.544819942438653]
  本稿では,マルチエージェントシステムのセキュリティ評価を行うフレームワークであるSafeAgentsを提案する。 広く採用されている5つのマルチエージェントアーキテクチャについて検討する。 この結果から,一般的なデザインパターンには重大な脆弱性があることが判明した。
  論文  参考訳（メタデータ） (2025-11-14T04:22:49Z)
• D-REX: A Benchmark for Detecting Deceptive Reasoning in Large Language Models [62.83226685925107]
  Deceptive Reasoning Exposure Suite (D-REX)は、モデルの内部推論プロセスと最終的な出力との相違を評価するために設計された、新しいデータセットである。 D-REXの各サンプルには、敵システムプロンプト、エンドユーザーのテストクエリ、モデルの一見無害な応答、そして重要なことに、モデルの内部チェーンが含まれている。 我々は、D-REXが既存のモデルと安全メカニズムに重大な課題をもたらすことを実証した。
  論文  参考訳（メタデータ） (2025-09-22T15:59:40Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• Information Retrieval Induced Safety Degradation in AI Agents [52.15553901577888]
  本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。 整列 LLM 上に構築された検索可能なエージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。 これらの発見は、検索可能でますます自律的なAIシステムの公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-20T11:21:40Z)
• Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
  本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。 敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。 GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
  論文  参考訳（メタデータ） (2025-03-30T13:26:00Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
  TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。