論文の概要: No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage

• arxiv url: http://arxiv.org/abs/2608.15286v1
• Date: Sat, 15 Aug 2026 15:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.249132
• Title: No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage
• Title（参考訳）: タスクが毎回失敗する理由: ワンショットのオーディエンスが構造的に損なわれている理由
• Abstract要約: 我々は,繰り返し実行中のデータベース状態差分から損傷を計算する環境に依存しない信頼性機器であるAgentRelBenchを紹介する。 2,128人を超える評価は6家族の9つのモデルにまたがって行われ、不可逆的な行動に対するダメージは普遍的である。 42回の確認済みの損傷イベントにまたがって、常に故障した細胞をゼロにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce AgentRelBench, an environment-agnostic reliability instrument that computes ground-truth, severity-priced damage from database state diffs across repeated runs, with no LLM in the measurement path, demonstrated on EnterpriseOps-Gym. Across 2,128 evaluation runs spanning nine models in six families (four development, three pre-registered held-out, plus a frontier pass on two frontier-tier models that the pre-registration designates exploratory), we find: (1) damage on irreversible actions is universal across the families we measured and stochastic within them on pinned, single-provider stacks. (2) No task damaged on every run: zero always-fail cells across 42 confirmatory held-out damage events. A single clean run misses a damage-producing (model, task) pair 0.80 of the time on the development pool (13 pairs); the held-out pool is descriptively consistent (0.575 over 5 pairs, pair-weighted) but sits below our pre-registered power floor and is reported as underpowered, not as confirmation. (3) Damage-producing task count falls with model capability, from 7 of 20 tasks for an 8B model to 1 of 20 for the most capable; capability is confounded with family and training, so this is an observed gradient, not a causal claim. The residual damage does not change in character: in the exploratory frontier pass, the most capable model's one damaging task damages at $\hat{p} = 0.16$ per run, inside the same demonstrably-stochastic band, and a single audit misses it 84% of the time. (4) One model family committed the gated irreversible change while declaring it had refused: transcript- and judge-based grading scores those runs as safe refusals, only state diffs as damage. All confirmatory findings were pre-registered with per-claim demote criteria; one demoted our own initially favored finding, which we report.
• Abstract（参考訳）: 我々は,エンタープライズOps-Gymで実証された,実測経路にLLMを含まない,繰り返し実行中のデータベース状態差分による地中信頼度,重大な被害を計算できる環境依存型信頼性機器であるAgentRelBenchを紹介した。 2,128人を超える評価は6つのファミリーの9つのモデル(4つの開発、3つの事前登録されたホールトアウト、および事前登録が探索する2つのフロンティア層のモデルに対するフロンティアパス)にまたがって行われる。 2)全走行に損傷はない:42回の確認停止損傷イベントにまたがる常時障害細胞はゼロであった。 単一のクリーンランは、開発プール(13対)で発生した時間(モデル、タスク)の0.80を逃し、保持プールは記述的に一貫した(0.575対5対2対2重)が、登録済みのパワーフロアの下にあり、確認されていないと報告されている。 3) 被害発生タスク数は8Bモデルで7タスク中7タスクから20タスク中1タスクに最も有能なモデル能力に該当する。 探索的なフロンティアパスでは、最も有能なモデルが1ラン当たり$\hat{p} = 0.16$のタスク損傷を発生させ、同じ実証可能な確率的なバンドの中で、ひとつの監査が84%の時間を逃す。 (4) 1つのモデルファミリは、変更が拒否されたことを宣言しながら、非可逆的な変更を犯した: 書き起こしと判断に基づくグレーティングスコアは、安全拒否として実行され、状態差は損傷としてのみ発生する。 いずれの検査結果も, 評価基準付きで事前登録され, 当初, 自験例が好意的であったことが報告された。

関連論文リスト

• The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
  決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
  論文  参考訳（メタデータ） (2026-09-14T17:13:05Z)
• Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
  言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。 我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。 52,988件の要求を監査し、スピアマン0.400で0.90と一致した。 証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:43Z)
• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• Invocation-Level Reliability of Tool-Using Agents [0.7874708385247353]
  クリーンな教師強化コンテキストと,モデル独自のフリーランニングコンテキストの両方の下で,その2つを分離する,正しい起動率を測定する。 深さ6では、モデル自身のクリーンコンテキスト能力の約70%が、以前の失敗に失われる。
  論文  参考訳（メタデータ） (2026-08-23T09:04:59Z)
• Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI) [0.0]
  我々は3つのオープンウェイトモデル(qwen3:8b, llama3.1:8b, mistral:7b)上で、繰り返しツールコールタスクを実行するローカルでゼロコストハーネスを構築する。 障害が希少化するにつれてエンゲージメントが上昇し,検出可能性しきい値付近で崩壊したと仮定した。 保証された障害実行は、モデルが異常を認識しているかどうかを示すが、一度認識されたエンゲージメントとは異なっている。
  論文  参考訳（メタデータ） (2026-08-13T10:25:40Z)
• Real-Time Detection and Repair of LLM Agent Failures [0.0]
  LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。 1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。 システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
  論文  参考訳（メタデータ） (2026-08-03T16:34:46Z)
• Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
  我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。 ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-12T12:25:50Z)
• Evaluation Awareness Is Not One Capability: Evidence from Open Language Models [1.758143872501506]
  安全ベンチマークは、テスト条件の振る舞いがデプロイメントの振る舞いを予測すると仮定する。 これにより、ベンチマークパフォーマンスとデプロイメントの動作のギャップが開ける。 我々は、37のオープンウェイトモデルと7つのファミリーにわたる8つの実験を通して、この評価意識を特徴づける。
  論文  参考訳（メタデータ） (2026-06-22T16:48:43Z)
• Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
  デプロイされた注文エージェントは、階層の固定された分類に分解される。 純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。 制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
  論文  参考訳（メタデータ） (2026-06-10T05:55:13Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。