論文の概要: DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency
- arxiv url: http://arxiv.org/abs/2606.20634v1
- Date: Sat, 30 May 2026 09:36:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 23:02:13.078048
- Title: DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency
- Title（参考訳）: DEMM-Bench: エージェントランタイムガバナンス-エビデンス満足度のためのクロスレジームベンチマーク
- Abstract要約: DEMM-Benchはエージェント・ランタイム・ガバナンス・エビデンス・サフィシデンスのためのクロスレジーム・ベンチマークである。
8つの証拠制度にまたがる記録が、決定レベルの資産を再構築するのに十分かどうかを測定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent-runtime systems emit traces, ledgers, provenance graphs, policy logs, delegation tokens, cache events, and tool-firewall records, but those containers do not necessarily answer governance questions about a specific decision. DEMM-Bench is a cross-regime benchmark for agent-runtime governance-evidence sufficiency, grounded in the Decision Evidence Maturity Model (DEMM): it measures whether records across eight evidence regimes are sufficient to reconstruct decision-level properties rather than merely present. The benchmark normalizes the regimes through adapters, asks property questions over actor, authority, action, policy, decision basis, resource touch, lifecycle context, and verification strength, and applies eight deterministic degradation conditions. Across 64 manuscript cases, trace-present and schema-present baselines overclaim on 75% of cases, ledger-present overclaims on 50%, and the redacted property-level candidate scorer has zero overclaim with 56.25% mean Property Sufficiency Accuracy. The deposited package provides the 64-case dataset, construction-oracle labels, baselines, and adapters, supporting reproducible evaluation of decision-evidence maturity across heterogeneous agent-runtime evidence substrates.
- Abstract（参考訳）: エージェントランタイムシステムはトレース、台帳、前処理グラフ、ポリシログ、デリゲートトークン、キャッシュイベント、ツールファイアウォールレコードを出力するが、これらのコンテナは必ずしも特定の決定に関するガバナンスの質問に答えるとは限らない。
DEMM-Benchは、決定エビデンス成熟度モデル(DEMM:Decision Evidence Maturity Model)に基礎を置いているエージェント・ランタイム・ガバナンス・エビデンス・サフィシビリティのクロスレジム・ベンチマークである。
このベンチマークは、アダプタを通じてレギュラーを正規化し、アクター、権威、行動、ポリシー、決定ベース、リソースタッチ、ライフサイクルコンテキスト、検証強度についてプロパティー質問を行い、8つの決定論的劣化条件を適用している。
64件の写本、トレース表示とスキーマ表示のベースラインが75%のケースで誇張され、台帳表示は50%で誇張され、修正されたプロパティレベル候補スコアラーは56.25%のプロパティ有効精度でゼロ評価されている。
堆積パッケージは64ケースのデータセット、構築・オークルのラベル、ベースライン、アダプタを提供し、異種エージェント・ランタイムエビデンス基板間の決定・証拠成熟の再現可能な評価をサポートする。
関連論文リスト
- AcquireBound: Runtime Authorization for Resources Acquired by AI Agents [0.0]
充足後のアクティベーションギャップは、ツールによる作成、エージェント間デリゲート、エージェントコマースにまたがる。
本稿では,AcquireBoundについて紹介する。
検疫,バック,非増幅,非回避分割,クラッシュ/リトライ,返金,エポック,エフェクトの8つの安全性特性を実証する。
論文 参考訳（メタデータ） (2026-09-13T19:16:44Z) - Grounded Normative Rule Generation with Structured Search [47.28595196084396]
基底ノルム規則合成(GNRS)として問題を定式化する。
GNRS-SearchはMarkov Chain Monte Carlo(MCMC)サンプリングを利用して、離散5スロットアンドオーグラフ(AOG)を最適化するフレームワークである。
GNRS-Benchは8つのシーンにまたがる116の制御目標にまたがるベンチマークであり、RealCharterBenchは53のリアルなポリシータスクに隠れたソース節で遷移を評価する。
論文 参考訳（メタデータ） (2026-08-23T05:43:42Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Agent-Safety Evaluations as Load-Bearing Evidence: A Vendor-Neutral, Cross-Harness Reconstructability Metric [0.0]
ベンダーニュートラルでランナブルな計器は、評価妥当性の指標として再構成可能性を示すものはない。
本稿では,8つの意思決定クラスに対する特性レベルの再構成可能性指標を提案する。
論文 参考訳（メタデータ） (2026-07-14T07:54:37Z) - ContextNest: Verifiable Context Governance for Autonomous AI Agent [0.0]
我々は、管理されたAI消費可能な知識Vaultのためのオープン仕様と参照実装であるContextNestを提示する。
検索の下にあるガバナンス層を提供し、どのアーティファクトが承認され、現在、帰属可能で、整合性が検証されているかを判断する。
2つの制御実験による実験結果について報告する。
論文 参考訳（メタデータ） (2026-07-02T12:51:38Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。
現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
論文 参考訳（メタデータ） (2026-06-15T09:05:55Z) - A Five-Plane Reference Architecture for Runtime Governance of Production AI Agents [0.0]
本稿では,生産AIエージェントのガバナンスのための参照アーキテクチャを提案する。
我々は、許容と否定を一般化する6つの割り込みプリミティブの分類を定義し、4つの正当性不変量について主張する。
5つの具体的判断にまたがる7つの生産エージェントの脅威の隠蔽を実証する。
論文 参考訳（メタデータ） (2026-06-10T16:54:47Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳（メタデータ） (2026-05-28T10:38:38Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳（メタデータ） (2026-05-25T06:26:43Z) - Property-Level Reconstructability of Agent Decisions: An Anchor-Level Pilot Across Vendor SDK Adapter Regimes [0.0]
筆者らは,6つの公開ベンダSDKレポジトリのピン付きワークサンプルアンカーに未修正のDecision Trace Reconstructorを適用した。
各決定イベント(DES)プロパティは、完全な充足可能、部分的に充足可能、構造的に充足不能、不透明に分類される。
論文 参考訳（メタデータ） (2026-05-12T13:05:02Z) - MAP-Law: Coverage-Driven Retrieval Control for Multi-Turn Legal Consultation [5.163506276331684]
法律相談は、エージェントが関連する法的問題を特定し、権威的な支援を回収し、レコメンデーションに十分な証拠がいつあるかを決定することを要求する、高い視点の業務である。
マルチターン法定コンサルテーションにおける検索制御のためのカバレッジ駆動型フレームワークMAP-Lawを提案する。
論文 参考訳（メタデータ） (2026-05-02T15:21:05Z) - Decision Evidence Maturity Model for Agentic AI: A Property-Level Method Specification [0.0]
エージェントAIシステムは、実行テレメトリを通じて大規模な意思決定証拠を生成するが、プロパティレベルの再構築は失敗することが多い。
このパターンをコンテナ誤認(container fallacy)と呼んでいます。
本稿では,エージェント決定のための特性レベル再構成法であるDecision Evidence Maturity Model (DEMM)を提案する。
論文 参考訳（メタデータ） (2026-04-29T09:59:36Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z) - Policy-Invisible Violations in LLM-Based Agents [10.660248467840821]
コンプライアンスがエンティティ属性、コンテキスト状態、あるいはエージェントの可視的コンテキストから欠落したセッション履歴に依存する場合。
PhantomPolicyは、8つの違反カテゴリにまたがるベンチマークで、バランスの取れた違反と安全管理のケースを示す。
本稿では,反ファクトグラフシミュレーションに基づく実施フレームワークであるSentinelを紹介する。
論文 参考訳（メタデータ） (2026-04-14T01:15:15Z) - DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。
本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。
我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-03-06T05:05:57Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳（メタデータ） (2025-09-30T22:19:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。