論文の概要: SSCBench: Evaluating the Evidential Validity of Fault-Injection Tests for Tool-Using LLM Agents

• arxiv url: http://arxiv.org/abs/2610.11514v1
• Date: Thu, 08 Oct 2026 08:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 11:59:33.741751
• Title: SSCBench: Evaluating the Evidential Validity of Fault-Injection Tests for Tool-Using LLM Agents
• Title（参考訳）: SSCBench: ツールを用いたLDMエージェントの故障注入試験の有効性評価
• Abstract要約: 提案手法は, 注入されたアサーションに対して何の反証ができるかを指定するプロトコルを開発し, 影響を受ける事実が最初に使用される前に可視になるかどうかを判定し, 評価された実行が実際にこの条件を実現するかどうかを記録する。 実験により、承認された障害ケースとエージェントの設定により、実行間で明らかに異なる条件が実現できることが示されている。 我々は,実行によって実現された明らかな条件と,クレーム固有の解釈を支持する人口は,欠陥注入評価そのものの一部であると論じる。
• 参考スコア（独自算出の注目度）: 6.972294818778601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fault injection is increasingly used to evaluate the reliability of tool-using LLM agents. However, there has been limited study of how fault-adoption results should be interpreted when the agent itself determines which authoritative observations become visible during execution. In this paper, we present a systematic study of this evidential validity problem in agent fault-injection evaluation. We develop a measurement protocol that specifies what observations can refute an injected assertion, determines whether they can become visible before the affected fact is first used, and records whether the evaluated execution actually realizes this condition. We construct SSCBench as an instantiation of the protocol and evaluate four fault operators and five agent configurations over 1,191 faulted executions in two $τ$-bench environments. Our experiments show that an admitted fault case and agent configuration can realize substantially different evidential conditions across executions, and that aggregate adoption can remain well defined even when the population supporting a timely-counterevidence claim is sparse or absent. For example, among 44 adopted runs in which counterevidence eventually became visible, only 17 received it before first use, while 27 received it afterward. We also find that first-error timing and later stance revision need not coincide, and that automated trajectory analysis can recover adoption without reliably recovering the first faulty-reliance event needed for temporal diagnosis. We argue that the evidential condition realized by an execution and the population supporting a claim-specific interpretation are part of fault-injection evaluation itself and should be reported before adoption is interpreted as failure under pre-use counterevidence.
• Abstract（参考訳）: ツールを使用するLDMエージェントの信頼性を評価するために、フォールトインジェクションがますます使用されている。 しかし、エージェント自体が実行中にどの権威的な観察が見えるかを決定すると、障害適応結果がどのように解釈されるべきかは限定的な研究がなされている。 本稿では,エージェント故障インジェクション評価において,この明らかな妥当性に関する体系的研究を行う。 提案手法は, 被検体が被検体に対してどのような反応を示すかを特定し, 影響物質が最初に使用される前に可視になるかどうかを判定し, 評価された実行が実際にこの状態を実現するかどうかを記録する。 SSCBenchをプロトコルのインスタンス化として構築し、2つのτ$-bench環境で1,191の障害実行に対して4つの障害演算子と5つのエージェント構成を評価する。 以上の結果から, 事故事例とエージェント構成は, 実行状況によって大きく異なっており, タイムリー・カウンセビデンス・クレームを支持する人口が少なかったり不在であったりしても, 集団採用は良好に定義できることが明らかとなった。 例えば44本が採用され、最終的にカウンターエビデンスが見られるようになったが、最初の使用前に17本しか受け取らず、その後27本が受け取られた。 また,第1次エラータイミングと後続のスタンスリビジョンは一致せず,自動軌跡解析は時間的診断に必要な最初の障害信頼イベントを確実に回復することなく,採用を回復できることがわかった。 我々は,実行によって実現された明らかな状況と,クレーム固有の解釈を支持する人口は,障害注入評価そのものの一部であり,適用前に報告すべきであると論じる。

関連論文リスト

• Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation [0.0]
  予測モデルのみでなく,評価プロトコルによってライセンスされた推論を監査する。 プロトコルは、特権のある中間表現を供給しながら、時間的に因果関係を保つことができる。
  論文  参考訳（メタデータ） (2026-10-02T09:13:22Z)
• Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
  既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。 オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。 我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
  論文  参考訳（メタデータ） (2026-09-24T19:04:23Z)
• TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents [1.1279808969568255]
  TwinCheckは、トレースがトレースローカル障害仮説に結びついている証拠条件を満たす場合にのみ、置換を検討するポリシーである。 ペア評価の場合、正確なリプレイはエージェントのパースされた応答とアクションを保持し、最初の置換が受け入れられるまで固定される。
  論文  参考訳（メタデータ） (2026-09-22T18:09:40Z)
• Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
  大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。 しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。 本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
  論文  参考訳（メタデータ） (2026-09-17T18:28:45Z)
• Cognitive Admission Control: Risk-Conditioned Assurance for Consequential Actions in Agentic Distributed Systems [2.124730017640531]
  エージェント分散システムでは、エージェントは外部のインフラを変更できるが、突然変異の実行準備が整っているという証拠は欠如している。 CAC(Cognitive Admission Control)は、この証拠を明示する。 ポリシーは、型付けされた行動とそのモデル化されたリスクを、述語、エビデンスクラス、スコープ、鮮度、証人セットの制約を指定する保証義務にマップする。 承認が成功すると、アクション、証人マニフェスト、ディスパッチタイムガードを結び付ける証明書が生成される。
  論文  参考訳（メタデータ） (2026-09-14T20:20:54Z)
• Intrusion Detection for Agentic Processes: Evidence-Based Runtime Monitoring [0.0]
  本稿では,実行時侵入検知のためのエージェント・プロセス侵入検知システム(A-IDS)を提案する。 A-IDSは、エビデンスをサポートする観測結果と、ワークフロー状態、認可、通信、強制イベントのための管理およびバージョン管理された予測ベースラインを比較する。 A-IDSは異常な振る舞いから悪意のある意図を推測せず、観測されていない事象を非発生の証明として扱わず、新しい異常検知器、時間論理、前兆モデルも主張しない。
  論文  参考訳（メタデータ） (2026-09-10T14:37:12Z)
• From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
  研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。 生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。 本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T13:37:38Z)
• Verification of Adaptive Agentic Controllers through Finite Rule Revision [0.0]
  本稿では,有限記号規則で表される適応エージェント制御系に対する有界検証プロトコルを定式化する。 診断の失敗は、ルールの追加、ルール削除、優先度修正など、事前に定義されたルールレベルの編集にマップされる。 修理されたコントローラは、保持されたシミュレーションシードまたはクローンされた初期状態に基づいて評価される。
  論文  参考訳（メタデータ） (2026-07-07T13:38:01Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。