論文の概要: FaultLens: Learning Compact Behavioral Test Suites for Generated Operational Programs
- arxiv url: http://arxiv.org/abs/2608.26746v1
- Date: Thu, 27 Aug 2026 07:37:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.291759
- Title: FaultLens: Learning Compact Behavioral Test Suites for Generated Operational Programs
- Title（参考訳）: FaultLens: プログラム生成のためのコンパクトな振る舞いテストスイートの学習
- Abstract要約: FaultLensは、実行されたエビデンスに対する監査可能な接続を保持しながら、コンパクトな振る舞いテストスイートを学ぶ方法である。
一度リッチなプローブドメインを実行し、フォールトプローブキル関係をスパース結果キャッシュとして保存し、初期のプログラム世代からのみプローブ順序を学習する。
4つの環境にまたがる20の運用方針,10個の実行シード,1,200個の実行サマリー,2,160個の制御プログラム変換,4,120,200個の実行プログラム-プローブペアを評価した。
- 参考スコア（独自算出の注目度）: 13.55424508650495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generated operational programs are often validated with either a few hand-written examples or exhaustive regression suites. The former can miss sparse boundary and interaction faults, while the latter can be unnecessarily expensive. We introduce FaultLens, a method for learning compact behavioral test suites while preserving an auditable connection to executed evidence. It executes a rich probe domain once, stores the fault-probe kill relation as a sparse outcome cache, and learns probe orderings only from earlier program generations. A fault-driven greedy component exploits known kill structure, while a mutation-independent diversity component covers probe families, cases, templates, and temporal bins. Their alternating hybrid remains useful when a new program contains a fault mechanism absent from ordering construction. We evaluate twenty generated operational policies across four environments, ten execution seeds, 1,200 measured run summaries, 2,160 controlled program transformations, and 4,120,200 executed program-probe pairs. Of 1,960 intended faulty transformations, 1,779 alter a contract or output somewhere in the finite audit domain; 200 additional controls preserve behavior. A 32-probe hybrid learned on generations 1-3 covers 576/582 (99.0%) dynamically killable faults in generations 4-5 using 1.2-2.0% of the exhaustive domain. With an entire fault family withheld from training, diversity raises scenario-family macro coverage from 84.6% to 94.9%. In a downstream deployment study, a conservative admission rule reduces severe tail regressions from 15/20 program-environment groups to 0/20. FaultLens provides a prioritized evidence mechanism, not a proof of correctness, and makes its budget, evidence source, generalization split, and misses explicit.
- Abstract（参考訳）: 生成された運用プログラムは、手書きの例や徹底的な回帰スイートで検証されることが多い。
前者は疎境界と相互作用障害を見逃しかねないが、後者は必然的に高価である。
本稿では,コンパクトな動作テストスイートの学習方法であるFactLensを紹介する。
一度リッチなプローブドメインを実行し、フォールトプローブキル関係をスパース結果キャッシュとして保存し、初期のプログラム世代からのみプローブ順序を学習する。
欠陥駆動型グリードコンポーネントは既知のキル構造を利用し、突然変異非依存の多様性コンポーネントはプローブファミリー、ケース、テンプレート、時間的ビンをカバーしている。
彼らの交互ハイブリッドは、新しいプログラムが故障機構を含む場合にも有用である。
4つの環境にまたがる20の運用方針,10個の実行シード,1,200個の実行サマリー,2,160個の制御プログラム変換,4,120,200個の実行プログラム-プローブペアを評価した。
1,960の意図された障害変換のうち、1,779は契約を変更し、有限監査領域のどこかで出力する。
1-3世代で学習された32プローブのハイブリッドは、576/582 (99.0%) の動的致死性断層を4-5世代でカバーしている。
フォールト・ファミリー全体がトレーニングを控えており、シナリオ・ファミリーのマクロ・カバーは84.6%から94.9%に増加した。
下流展開研究において、保守的入場規則は、15/20プログラム環境群から0/20プログラム環境群への深刻な尾部回帰を減少させる。
FaultLensは、正確性の証明ではなく、優先順位付けされたエビデンスメカニズムを提供し、予算、エビデンスソース、一般化の分割、ミスを明確にする。
関連論文リスト
- Guardrailed Meta-Agent Loops: Stress-Testing Policy Pinning, Budget Bounds, and Crash Recovery [7.414694666903067]
GuardrailLoopはシミュレーションベースのテストベッドで、3つの運用契約を共同でテスト可能にする。
ハッシュピン付ポリシーは、目標、スコープ、評価アイデンティティ、予算、リリース条件を修正します。
有用な適応、状態回復、反復実行を分離する。
論文 参考訳（メタデータ） (2026-09-10T21:22:08Z) - Engineering Reliable Commit Gates for Agentic AI: Cost-Aware Verification Portfolios under Common-Mode Data Failures [4.287745257410248]
コスト対応コミットゲートのランタイム保証ベンチマークを提案する。
48のタスクテンプレートは、6つの障害レジームで2,880のシナリオを生成する。
結果は明確なエビデンスライン、コストアウェアの選択、コミットタイムの実施を動機付けます。
論文 参考訳（メタデータ） (2026-09-10T01:42:40Z) - Retry Amplification in Distributed Systems: A Systematic Analysis of Retry Policies and Their Role in Cascading Failures [0.0]
本稿では、部分的故障時にリトライポリシーが生成する追加要求量の定量化指標であるリトライ増幅係数(RAF)を紹介する。
200のオープンソースのPythonマイクロサービスプロジェクトに関する調査では、明示的な再試行ロジックが11.5%で検出されている。
予算制約による再試行は,過渡的な断層から回復しつつ,ノリトリーベースラインに近い成功率を維持していることを示す。
論文 参考訳（メタデータ） (2026-08-26T06:04:03Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。
故障は最初の観測で再現されるが、経験的表面は不安定である。
規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
論文 参考訳（メタデータ） (2026-07-25T22:40:02Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents [40.270213696031625]
符号化エージェントは、シェル、ファイル、ネットワークアクションのシーケンスとして良質なタスクを実行する。
プロンプトは敵ではなく、実行は成功しますが、スコープ外ステップでは認証情報をリークしたり、ファイルを削除することができます。
既存のベンチマークでは、タスク補完スイートは、完了した実行を承認し、jailbreakスイートは、逆のプロンプトをプローブし、以前のオーバーイーガーベンチマークは、各エージェントモデルペアに単一の固定プロンプトを適用する。
再利用可能なスコープから良性シナリオを構成するパイプラインであるSNAREを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:14:07Z) - When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。
平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
論文 参考訳（メタデータ） (2026-05-25T15:57:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - SBEST: Spectrum-Based Fault Localization Without Fault-Triggering Tests [17.90798133817018]
本研究は, 事故報告から得られたスタックトレースを, スペクトルベース断層定位における故障トリガー試験のプロキシとして用いる可能性について検討した。
本稿では,スタックトレース情報とテストカバレッジデータを統合する新たな手法であるSBESTを提案する。
論文 参考訳（メタデータ） (2024-05-01T15:15:52Z) - Regression with Multi-Expert Deferral [30.389055604165222]
複数の専門家で予測を遅延させる学習は、学習者が複数の専門家に予測を遅延させることを選択できるフレームワークである。
本稿では、複数の専門家に予測を延期することを含む、遅延を伴う新しい回帰の枠組みを提案する。
両シナリオに新たなサロゲート損失関数を導入し,これらが$H$一貫性境界でサポートされていることを証明した。
論文 参考訳（メタデータ） (2024-03-28T15:26:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。