論文の概要: CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits
- arxiv url: http://arxiv.org/abs/2608.01805v1
- Date: Mon, 03 Aug 2026 07:13:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.370538
- Title: CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits
- Title（参考訳）: CockpitHAT: マルチエージェントコックピットの依存性グラフ駆動型階層属性
- Abstract要約: LLMマルチエージェントシステムは、タスクレベルの精度が高いプロセスレベルの障害を隠蔽する、正確性崩壊に悩まされる。
我々は、位置対応ウィンドウをDAGの依存性依存閾値に置き換える階層的属性フレームワークであるCockpitHATを紹介する。
CockpitBenchは、212の注釈付き障害トレースのベンチマークで、対話、車両状態、環境重大度、メモリチャネルにまたがる。
- 参考スコア（独自算出の注目度）: 3.9502278152528625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM multi-agent systems suffer from Correctness Collapse, where high task-level accuracy conceals severe process-level failures. This is especially hazardous in safety-critical embodied settings such as automotive cockpits, where lexically correct utterances may trigger dangerous physical operations. Existing attribution methods rely on text traces alone, missing dependency structure, multi-channel evidence, and safety-aware evaluation. We introduce CockpitHAT, a hierarchical attribution framework that replaces positional windows with dependency-distance thresholds from interaction DAGs, integrates multi-channel evidence via an embodied adapter, and applies a safety-uplift to high-risk failures during confidence-weighted analyst consensus. We further release CockpitBench, a benchmark of 212 annotated failure traces spanning dialogue, vehicle-state, environmental, and memory channels, each labeled with ISO 26262 ASIL severity via three-expert consensus. On the public Who&When benchmark, CockpitHAT achieves agent-level / step-exact accuracies of 77.9% / 37.8% on the Hand-Crafted split and 86.5% / 46.0% on the Algorithm-Generated split, surpassing the text-only SOTA ECHO by up to 17.6 / 16.7 points. On CockpitBench, it attains 78.3% agent-level and 38.2% step-exact accuracy. These results establish dependency-aware, multi-channel, risk-calibrated attribution as an effective paradigm for reliable failure diagnosis in real-world embodied LLM multi-agent systems.
- Abstract（参考訳）: LLMマルチエージェントシステムは、タスクレベルの精度が高いプロセスレベルの障害を隠蔽する、正確性崩壊に悩まされる。
これは特に、自動車コックピットのような安全クリティカルな実施環境において危険であり、語彙的に正しい発話が危険な物理的操作を引き起こす可能性がある。
既存の属性法は、テキストトレースのみに依存しており、依存構造が欠如していること、マルチチャネルエビデンス、安全に配慮した評価が欠如している。
我々は,階層的な属性フレームワークであるCockpitHATを紹介した。これは,位置ウィンドウを対話DAGの依存性依存性しきい値に置き換え,具体的アダプタを通じて多チャンネルエビデンスを統合し,信頼度の高いアナリストのコンセンサスにおいて,高リスク障害に対する安全性向上を図っている。
さらに、対話、車両状態、環境、メモリチャネルにまたがる212のアノテート障害トレースのベンチマークであるCockpitBenchを、ISO 26262 ASILの重大度とラベル付けし、3つの専門家の合意によってリリースする。
公開のWho&Whenベンチマークでは、CockpitHATは、ハンドクラフトスプリットで77.9% / 37.8%、アルゴリズム生成スプリットで86.5% / 46.0%、テキストのみのSOTA ECHOで最大17.6 / 16.7ポイントを達成した。
CockpitBenchでは、78.3%のエージェントレベルと38.2%のステップエクサクティヴ精度を実現している。
これらの結果は、実世界のマルチエージェントシステムにおいて、信頼性のある故障診断のための効果的なパラダイムとして、依存性を意識したマルチチャネル、リスク校正属性を確立している。
関連論文リスト
- Harnessing Disagreement: Detecting Correlated Agreement Blindness in Multi-Agent Triage [3.164789424470588]
分散トリガー付きエスカレーションは、マルチエージェント仲裁において構造的な盲点を生み出すことができる。
本稿では,誘導性ランダムフォレスト (RF) エージェントと類似のケースベースk-アネレスト (k-NN) エージェントを組み合わせた指向性星系ARATを提案する。
論文 参考訳（メタデータ） (2026-07-22T08:35:00Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - AgentEval: DAG-Structured Step-Level Evaluation for Agentic Workflows with Error Propagation Tracking [13.891522069967507]
本稿では,エージェント実行を指向非巡回グラフ(DAG)として形式化するフレームワークであるAgentEvalを提案する。
AgentEvalは、エンドツーエンドの評価よりも2.17倍高いエラー検出リコールを実現し、72%の根本原因精度を81%の天井に対して達成している。
論文 参考訳（メタデータ） (2026-04-26T07:38:47Z) - Towards Optimal Agentic Architectures for Offensive Security Tasks [3.93181912653522]
20のインタラクティブなターゲット(Web/API10とバイナリ10)のベンチマークを導入する。
それぞれ、ホワイトボックスとブラックボックスモードで評価された、ワンリーチ可能な地上真実の脆弱性を露呈する。
MAS-Indepは最も高い検出率(64.2%)を獲得し、SASは最も高い効率のベースラインである0.058ドルである。
論文 参考訳（メタデータ） (2026-04-20T18:17:51Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - SafeClaw-R: Towards Safe and Secure Multi-Agent Personal Assistants [10.897758061443989]
SafeClaw-Rは、実行グラフ上のシステムレベルの不変量として安全を強制するフレームワークである。
生産性プラットフォーム、サードパーティのスキルエコシステム、コード実行環境の3つの領域でSafeClaw-Rを評価します。
論文 参考訳（メタデータ） (2026-03-28T05:03:54Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。