論文の概要: Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

• arxiv url: http://arxiv.org/abs/2606.11686v1
• Date: Wed, 10 Jun 2026 05:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.316764
• Title: Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness
• Title（参考訳）: 層分離評価:非LLM, 回帰同期テストハーネスを用いた生産用LDM剤の決定論的評価
• Authors: Sawyer Zhang, Alexander Wang, Sophie Lei,
• Abstract要約: デプロイされた注文エージェントは、階層の固定された分類に分解される。 純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。 制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
• 参考スコア（独自算出の注目度）: 45.148328075418156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end task-success is the dominant way to evaluate LLM agents, but one aggregate number tells you that an agent regressed, not where. We present layer-isolated evaluation: a deployed ordering agent is decomposed into a fixed taxonomy of layers (ontology, intent, routing, decomposition, escalation, safety, memory, and cross-cutting envelope/defense), each exercised by its own assertion slice in a deterministic, no-LLM "pure" mode. The pure suite (238 cases across 23 slices; 225 run in 2.39 s, ~10 ms/case) runs in CI on every change against a locked per-slice baseline. We validate by controlled regression injection, degrading one layer at a time across seven non-safety layers. The effect we did not design in is masking: the aggregate pass-rate barely moves (-1.7 to -5.9 pp for six local regressions), while the matching slice craters (-25 to -91 pp). A layer's slice reacting to its own fault is partly by construction; the measured results are (i) the aggregate masking and (ii) that damage stays off the other slices: the injected layer's slice is the single worst-hit in 5 of 7 cases and top-3 in 7 of 7 (mean rank 1.29 of 19). Localization replicates on a second, structurally different tenant (Starbucks SG): all seven matching slices crater, so it is not a single-catalog artifact. We position it as a concrete, deterministic instantiation of the component-level evaluation EDDOps prescribes but leaves unimplemented, with CheckList as ancestor and as the deterministic mirror image of whole-workflow stochastic mutation testing. Our contributions: (a) a fully decomposed, sub-second, no-LLM per-layer harness for a production agent, (b) a coverage-honesty test-adequacy criterion that refuses to score an unexercised layer, and (c) the regression-injection demonstration that per-slice baseline-locked gates localize regressions an aggregate metric masks.
• Abstract（参考訳）: エンド・ツー・エンドのタスク・サクセスは、LLMエージェントを評価する主要な方法ですが、ひとつの集約番号は、エージェントがどこでではなく後退したことを教えてくれます。 デプロイされた注文エージェントを,層(オントロジー,インテント,ルーティング,分解,エスカレーション,安全性,メモリ,クロスカットエンベロープ/ディフェンス)の固定分類に分解し,それぞれが決定論的,非LLM「純粋」モードでアサーションスライスされた。 純粋なスイート(23スライスで238ケース、225回は2.39秒から10ミリ秒/ケースで実行)は、スライス毎にロックされたベースラインに対してCIで実行される。 制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。 集合パスレートはわずかに動く(1.7から-5.9ppは6つの局所回帰)、一致するスライスクレーター(-25から-91pp)である。 自分自身の断層に反応する層のスライスの一部は建設によって行われており、測定結果は以下の通りである。 i)アグリゲーションマスクとアグリゲーションマスク (II)他のスライスには損傷が残っており、注入層スライスは7件中5件、トップ3は7件中7件(平均1.29件)である。 局所化は第2の、構造的に異なるテナント(スターバックス SG)で複製される。 コンポーネントレベル評価のEDDOpsの具体的,決定論的インスタンス化として位置づけるが,CheckListを祖先とし,全ワークフロー確率的突然変異検査の決定論的ミラーイメージとして,実装されていない。 コントリビューション: (a)製造剤用の完全に分解されたサブ秒間無LLMハーネス。 (b)非運動層を採点しないことを拒絶するカバレッジ正直な検定基準 (c) 基準線ロックされたゲートごとの回帰射出デモは、集約されたメートル法マスクをローカライズする。

関連論文リスト

• SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
  本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。 各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。 ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
  論文  参考訳（メタデータ） (2026-06-02T02:45:21Z)
• Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection [0.0]
  我々はLoRAをトレーニングデータ中毒によって確実にバックドアできることを示す。 攻撃はランクとともに単調にスケールし、選択されたトリガーアンカートークンはトリガー依存とベースモデル依存の両方である。 行動検出はサプライチェーンスキャンの操作可能な結果である。
  論文  参考訳（メタデータ） (2026-05-28T16:32:25Z)
• Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
  マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。 我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。 GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。 MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
  論文  参考訳（メタデータ） (2026-05-18T23:43:12Z)
• Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy [0.7212939068975618]
  事前訓練されたベースモデルは、インストラクトの変種と同じ置換パターンを示し、インストラクトよりも高い収率を平均化する。 このウィンドウの上のパッチは、クリーンにプレッシャーされたP(正しい)ギャップの96%を復元する。 2つの凝縮活性化空間介入は、新しいサイコファンシー回路を活性化するのではなく、圧力がクリーンな推論特性を抑制することを示している。
  論文  参考訳（メタデータ） (2026-05-13T04:45:08Z)
• Partial Number Theoretic Transform Masking in Post Quantum Cryptography Hardware: A Security Margin Analysis [0.0]
  ML-DSAとML-KEMのハードウェアアクセラレータAdams Bridgeは、Inverse Number Theoretic Transformレイヤの1をマスクし、残りの部分はシャッフルに頼っている。 著者らは,信頼度の高い7つの分析トラックをまたいだサイドチャネル文学に対するこれらの主張を,信頼性の高い証拠を用いて評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:38:34Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)
• Void in Language Models [2.7195102129095003]
  命令調整言語モデル(LM)における層活性化を,プロンプト処理と応答生成の2段階にわたって解析する。 すべてのレイヤが推論中に等しく寄与するわけではなく、ほとんどのレイヤを選択的にスキップすることで、特定のタスクにおけるモデルの性能が向上することを示している。
  論文  参考訳（メタデータ） (2025-05-20T15:01:56Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。