論文の概要: TRACE: A Multi-Layer Benchmark for Human AI Controller Coordination Under Drift and Failure
- arxiv url: http://arxiv.org/abs/2608.06657v1
- Date: Fri, 07 Aug 2026 00:03:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.306337
- Title: TRACE: A Multi-Layer Benchmark for Human AI Controller Coordination Under Drift and Failure
- Title(参考訳): TRACE: ドリフトと障害下でのヒューマンAIコントローラコーディネーションのためのマルチレイヤベンチマーク
- Abstract要約: 現代のサイバー物理およびAI支援システムは、人間のオペレータ、AI決定モジュール、自動コントローラを単一の制御ループで結合する。
標準ベンチマークでは、これらのレイヤ間でドリフトと障害がどのように伝播するかの、タイムアラインなマルチレイヤトレースをキャプチャしない。
ALFREDは,日常的な家庭内課題に対する基礎的な指導基準である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern cyber-physical and AI-assisted systems couple human operators, AI decision modules, and automated controllers in a single control loop, so trustworthiness depends on the whole loop, not any one model. Yet no standard benchmark captures time-aligned, multi-layer traces of how drift and failures propagate across these layers, so we cannot diagnose where coordination breaks down, why, or how to recover. This paper targets one facet of that gap: drift, a deviation that can originate in any stack layer and that conventional single-modality monitoring cannot localize to a layer or pin to an onset time. We construct a benchmark by injecting controlled drift into traces derived from ALFRED, a grounded-instruction benchmark for everyday household tasks, yielding 1,918 drifted traces. Each trace is a time-aligned sequence of per-step records across five execution layers (state, observation, decision, rules, control), labeled with the drift type, affected layer, onset time, responsible actor, and causal mechanism, and validated by independent raters with inter-annotator agreement reported. We pair the dataset with a leak-aware protocol that removes a near-perfect onset leak, and a baseline study across classical, recurrent, and attention-based model families. Under this honest protocol, drift is identifiable and attributable well above random and majority baselines across every family (affected layer macro-F1 near 0.70, responsible actor near 0.85, causal mechanism near 0.49), and heavy attention offers no advantage over simpler models on this symbolic benchmark.
- Abstract(参考訳): 現代のサイバー物理およびAI支援システムは、人間のオペレータ、AI決定モジュール、自動コントローラを単一の制御ループで結合している。
しかし、標準ベンチマークでは、これらのレイヤ間でドリフトと障害がどのように伝播するかのタイムアラインな多層トレースをキャプチャしていないため、調整が故障した場所、理由、回復方法の診断はできない。
本論文は,このギャップの1つの面,すなわちドリフト,任意のスタック層から発生する偏差,従来の単一モード監視では,各レイヤやピンをオンセット時間にローカライズすることができない。
ALFREDは,日常的な家庭内課題に対する基礎的な指導基準であり,1,918個のドリフトトレースを生成する。
各トレースは、5つの実行層(状態、観察、決定、ルール、制御)にまたがるステップごとのレコードの時系列であり、ドリフトタイプ、影響を受けるレイヤ、オンセット時間、責任あるアクター、因果メカニズムとラベル付けされ、アノテータ間の合意が報告された独立したラッカーによって検証される。
データセットと、ほぼ完全なオンセットリークを除去するリーク対応プロトコルと、古典的、再帰的、注意に基づくモデルファミリのベースラインスタディを組み合わせます。
この正直なプロトコルの下では、ドリフトはすべての家族のランダムなベースラインと過半数のベースライン(影響層マクロF1は0.70付近、責任アクターは0.85付近、因果メカニズムは0.49付近)をはるかに上回っている。
関連論文リスト
- Sensitivity Analysis of GRU, LSTM and Transformer Encoder in Classification of Automated Driving Systems [0.5156484100374058]
安全監視, 規制コンプライアンス, 保険評価, 異常検出において, どの自動運転システムがアクティブかを独立に検証するモニタリングシステムは重要である。
まず、GRU(Gated Recurrent Units)、LSTM(Long Short-Term Memory)、Transformer encoder(Transformer encoder)の3つのシーケンスベース分類モデルの有効性を評価する。
3モデルとも、クリーンなデータでトレーニングすると、マクロF1スコアが0.92(GRU)、LSTMが0.90(Transformer encoder model)、そして0.93(Transformer encoder model)となる。
論文 参考訳(メタデータ) (2026-07-25T01:31:37Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳(メタデータ) (2026-07-07T10:10:00Z) - Do Transformers Actually Help Intrusion Detection? A Temporal Sequence Evaluation on CIC-IDS2017 [1.2934180951771597]
我々はCIC-IDS 2017を、ネットワーク会話から順序付きフローシーケンスを構築することで、時間的侵入検出タスクとして再構成する。
中心的な発見は、アーキテクチャではなくパディング規約がトランスフォーマーのパフォーマンスを決定することである。
我々は、将来のIDS研究において、漏洩のない分割、明示的なパディング開示、シーケンシャル・アウェア・ベンチマークを標準的実践として推奨する。
論文 参考訳(メタデータ) (2026-06-09T16:57:10Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳(メタデータ) (2026-06-09T16:24:16Z) - The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents [0.0]
インターベンションタイミングは信頼性の低い構造であり、シングルアノテータF1を不適切な最適化ターゲットとする。
我々の貢献は、人間のレータ間の信頼性、4つの検出器アーキテクチャ、モデルのLEM-judgeスイープ、再現された飽和効果にまたがるこの問題を、共同でマッピングすることである。
論文 参考訳(メタデータ) (2026-06-02T23:54:27Z) - Multi-scale Coarse-to-fine Modeling for Test-time Human Motion Control [51.92884966472683]
MSCoTは、テストタイムの人間のモーション合成と制御のための、マルチスケールで粗い粒度モデルである。
MSCoTは動きを多スケールの階層表現に識別し、各時間スケールでトークンシーケンス全体を予測する。
論文 参考訳(メタデータ) (2026-05-14T15:09:49Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳(メタデータ) (2025-10-16T05:35:37Z) - Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。
HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。
このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
論文 参考訳(メタデータ) (2025-10-05T09:32:12Z) - Unsupervised Detection of Spatiotemporal Anomalies in PMU Data Using Transformer-Based BiGAN [0.0]
T-BiGANは、双方向生成逆数ネットワーク(BiGAN)内でウィンドウアテンション変換を行うフレームワークである。
エンコーダデコーダはアーキテクチャをキャプチャし、識別器はサイクル整合性を適用して遅延空間を真のデータ分布と整合させる。
異常は、再構成誤差、潜時空間ドリフト、判別器の信頼性を組み合わせた適応スコアを用いてリアルタイムでフラグ付けされる。
論文 参考訳(メタデータ) (2025-09-30T00:16:35Z) - Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である
CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。
CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文 参考訳(メタデータ) (2023-10-01T05:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。