論文の概要: Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence
- arxiv url: http://arxiv.org/abs/2608.12895v1
- Date: Thu, 13 Aug 2026 07:25:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.419536
- Title: Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence
- Title(参考訳): エージェント行動契約II:独立を前提としない構成信頼性の認定
- Abstract要約: 1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、ミッションの90.0%で共失敗する。
異なるモデルの置換は、6つのコントラストのうち6つのコントラストの関連を減少させる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional reliability bounds for multi-agent systems multiply component reliabilities, a step licensed by a conditional-independence assumption that is routinely stated and rarely tested. We test it. Two instances of one model, in a two-agent handoff, co-fail on 90.0% of the missions on which either fails (log OR 6.66, 95% CI [6.38, 7.00]; phi 0.916), in a preregistered evaluation of 18,000 missions scored by deterministic code with no LLM judge. Substituting a different model reduces the association in six of six contrasts; substituting a different vendor, model already different, does not -- a registered hypothesis reported as a null. The error is signed and runs against the operator: positive dependence inflates joint failure above the independence product, so redundancy is over-credited exactly when components share a model. The assumption-free alternative is often vacuous, and fitting a dependence model is worse: we prove a bootstrap bound on a fitted model's functional loses coverage of the truth as n grows, the identification gap being O(1) while the bootstrap haircut is O(n^{-1/2}). More data makes such a certificate worse, with no visible symptom. We give a finite-sample certificate assuming no dependence structure: a linear program over the joint, over a Bonferroni-Clopper-Pearson box around measured co-execution moments. It is sound, sharp for the information supplied, and monotone in the moment family. Enriching ten moment functionals to fourteen narrows the identified interval by 85.7% and lifts the certified floor from 0.2455 to 0.4116. A companion anytime-valid certificate holds type-I error at 0.0471 under optional stopping. Common dependence statistics are marginal-bounded and can reverse an apparent ordering of conditions when the compared agents fail at different rates. Contracts, scoring code, analysis scripts, and the preregistration are released.
- Abstract(参考訳): マルチエージェントシステムの構成信頼性境界は、日常的に記述され、まれにテストされる条件付き独立性仮定によってライセンスされた、コンポーネント依存度を乗算する。
私たちはそれをテストします。
1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、いずれのミッションも失敗するミッションの90.0%(log OR 6.66, 95% CI [6.38, 7.00]; phi 0.916)を共同フェイルし、LCMの審査員がいない決定論的コードによって得られた18,000のミッションの事前登録された評価を行った。
6つのコントラストのうち、6つのコントラストの関連を置換する; 異なるベンダー、モデルの置換は、既に異なる -- nullとして報告された登録仮説。
正の依存は独立製品の上に関節の故障を膨らませるので、部品がモデルを共有するときの冗長性は正確に過大評価される。
仮定なしの代替法は、しばしば空白であり、従属モデルの適合はより悪い: 適合モデルの関数に縛られたブートストラップが、nが大きくなるにつれて真実のカバレッジを失うことを証明し、その識別ギャップは O(1) であり、ブートストラップのヘアカットは O(n^{-1/2}) である。
より多くのデータがこのような証明書を悪化させ、症状は見えない。
測定された共同実行モーメントの周囲にボンフェロニ・クロッパー・ピアソンボックス上の、関節上の線形プログラムを仮定する有限サンプル証明を与える。
情報提供のために鋭い音で、瞬間の家族の中では単調である。
10の時間関数を14に拡張することで、特定間隔を85.7%狭め、認定階を0.2455から0.4116に引き上げる。
コンパニオンのtime-valid証明書は、オプションで停止した場合、0.0471でType-Iエラーを保持する。
一般的な依存統計は限界境界であり、比較されたエージェントが異なるレートで失敗すると、条件の明らかに順序が逆になる可能性がある。
コントラクト、スコアリングコード、分析スクリプト、事前登録がリリースされている。
関連論文リスト
- The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳(メタデータ) (2026-09-14T17:13:05Z) - The Blending Ratio Is Not Where the Performance Is: Diagnosing Prototype Blending for Few-Shot Adaptation of Vision-Language Models [22.461983628330277]
多くの少数ショット適応手法は、ゼロショットテキストプロトタイプとKラベル付き画像特徴の平均の凸の組み合わせで分類される。
正しい比率は何か、検証データなしで見積もることができるのか、パフォーマンスがどこにあるのかを尋ねる。
4800以上の細胞(SigLIPを含む5つのバックボーン、5つのショットカウント、5つのシード、4つのプロンプトレベル)が、理論上最適な比率は間違った量の信頼できる推定値である。
検証不要な線形プローブは、オラクルチューニングされたブレンド(CLAPは+1.9ポイント、LP++は+1.5ポイント)を破る。
論文 参考訳(メタデータ) (2026-08-23T15:02:33Z) - Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI) [0.0]
我々は3つのオープンウェイトモデル(qwen3:8b, llama3.1:8b, mistral:7b)上で、繰り返しツールコールタスクを実行するローカルでゼロコストハーネスを構築する。
障害が希少化するにつれてエンゲージメントが上昇し,検出可能性しきい値付近で崩壊したと仮定した。
保証された障害実行は、モデルが異常を認識しているかどうかを示すが、一度認識されたエンゲージメントとは異なっている。
論文 参考訳(メタデータ) (2026-08-13T10:25:40Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳(メタデータ) (2026-08-11T16:01:15Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis? [1.7077233340294056]
本稿では, 故障検出, 故障オリジンの局所化, 安全な停止を, 不十分な証拠で分離するベンチマークであるTelemetrySuffBenchを紹介する。
統一されたプロトコル、明示的な候補セット、無効なアウトプット会計、サブグループ分析、凍結したブラインドホールドアウトを用いて、5つのフロンティア言語モデルを評価する。
論文 参考訳(メタデータ) (2026-08-08T03:54:22Z) - Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。
粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。
ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
論文 参考訳(メタデータ) (2026-08-04T23:48:36Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳(メタデータ) (2026-07-27T16:05:23Z) - Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
メカニカルオラクル下での対向試験硬化ループについて検討した。
テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。
私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
論文 参考訳(メタデータ) (2026-07-25T02:38:07Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳(メタデータ) (2026-05-27T03:41:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳(メタデータ) (2026-05-13T18:01:05Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳(メタデータ) (2026-04-08T23:32:06Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。