論文の概要: ChurnBench: A Drift-Aware Benchmark Demonstrating That Refresh Scheduling, Not Cache Age, Governs Staleness in Agentic AI
- arxiv url: http://arxiv.org/abs/2609.11515v1
- Date: Thu, 10 Sep 2026 13:19:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.367733
- Title: ChurnBench: A Drift-Aware Benchmark Demonstrating That Refresh Scheduling, Not Cache Age, Governs Staleness in Agentic AI
- Title（参考訳）: ChurnBench: エージェントAIの安定性を損なう、キャッシュ年齢ではなくスケジュールを更新するドリフト対応ベンチマーク
- Abstract要約: 我々は、スナップショットではなくタイムラインとして4つのオープンソースエンタープライズデータファブリックを生成するオープンソースのベンチマークであるChurnBenchを紹介する。
すべての変更は追加のみのグランドトラス台帳に書き込まれ、金の答えはその台帳から計算される。
システムのリフレッシュがスケジュール通りに行われると,キャッシュの老朽化を予測できないことがわかった。
- 参考スコア（独自算出の注目度）: 0.9857528377308394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In production, agentic systems answer questions over data that lives in several places and keeps changing: licenses are reassigned, users offboarded, prices changed, contracts renewed. Existing retrieval benchmarks freeze the data, so they cannot ask whether an agent's answer is still true, only whether it found the right passage. We present ChurnBench, an open-source benchmark that generates a four-source enterprise data fabric as a timeline rather than a snapshot. Every change is written to an append-only ground-truth ledger, and gold answers are computed from that ledger, never from the live stores. An answer that was correct when its data was retrieved but wrong when evaluated is therefore detected and labeled a freshness error, distinct from a reasoning error; we validate this by resolving ground truth at both timestamps for every case reported. Using the instrument, we find that when a system refreshes on a schedule, cache age does not predict staleness. Across cache ages of 1, 14, and 28 days, freshness errors were 7, 4, and 4, because scheduled refresh bounds staleness by time-to-live, and no TTL lapse was observed in any window. A controlled ablation confirms the mechanism: disabling tiered refresh raises freshness errors from 4 to 45 at 28 days and leaves them identical at one day. The variable a drift benchmark should sweep is therefore TTL configuration against each entity's rate of change, not drift-window length. ChurnBench, the evaluation harness, and all per-error data are released open source.
- Abstract（参考訳）: 運用環境では、エージェントシステムは、いくつかの場所に存在するデータに関する質問に答え、変更を続けます:ライセンスが再割り当てされ、ユーザがオフボードされ、価格が変更され、契約が更新されます。
既存の検索ベンチマークはデータを凍結するので、エージェントの答えが真実かどうかを尋ねることはできない。
我々は、スナップショットではなくタイムラインとして4つのオープンソースエンタープライズデータファブリックを生成するオープンソースのベンチマークであるChurnBenchを紹介する。
すべての変更は追加のみのグランドトルース台帳に書き込まれ、金の答えはその台帳から計算される。
その結果,データ検索時に正しい解が得られたが,評価時に誤りが検出され,推論誤差とは別個の新鮮度誤差とラベル付けされた。
この計器を用いて、システムがスケジュールに更新されると、キャッシュ年代が不安定さを予測しないことがわかった。
1日14日28日で,新鮮度誤差は7,4,4日であった。
タイレッシュリフレッシュの無効化は、28日で4から45までの鮮度誤差を発生させ、1日で同一にしておく。
従って、ドリフトベンチマークがクリアすべき変数は、ドリフトウィンドウ長ではなく、各エンティティの変更率に対するTTL構成である。
評価ハーネスであるChurnBenchと、エラー毎のデータはすべて、オープンソースとしてリリースされている。
関連論文リスト
- What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark [0.0]
私たちは60のタスクと470のアイテムのベンチマークを作成しました。
私たちは自身のコーパスを監査し、Exerptで構築されたベンチマークが持てる欠陥を見つけました。
コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
論文 参考訳（メタデータ） (2026-09-05T15:43:05Z) - Approved Too Late: Verdict Staleness in LLM-Guarded Self-Adaptive Systems [0.0]
本報告では, ガードレールの判定が使用時に有効であるか否かについて検討する。
私たちは異なる質問に答える3つの量を見分ける。
すべての承認はチェック時に正しいものでなければならないし、使用時には有効でなければならない。
論文 参考訳（メタデータ） (2026-08-26T18:39:10Z) - Temporal Validity on Real Software Histories: Eliminating Stale-Fact Errors in Code-Assistant Memory over GitHub Fixes [0.0]
Retrieval-augmented Generation (RAG) には時間モデルがない。
RAGは、古い値と新しい値の両方をほぼ同一の類似性で検索し、どの値が現在であるかを判断できないため、過渡値として機能する。
MemStrata は RAG の 0.57-0.59 に対して 0.91 の解答精度に達し、RAG の解答を強制すると36-38% の値となる。
論文 参考訳（メタデータ） (2026-08-21T02:48:36Z) - When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses [1.5770673503612611]
メモリ拡張されたエージェントは、ユーザの格納された状態が時代遅れであることを知ることができ、なおも古い値を計画する。
私たちは1つの構造的コントリビュータを特定します。 ドラフトアンコールによる検証は、応答が何を言っているかをチェックします。
論文 参考訳（メタデータ） (2026-08-03T02:49:08Z) - Mean Time to Remediate Is Not a Fielding Model: A Cadence Audit for Enterprise Vulnerability Management [51.56484100374058]
本稿では,企業脆弱性管理のための改善ケイデンス監査について紹介する。
平均ラグ、放出期間、放出率、コホート幾何、緊急/ルーチン分割、非着地遅延、局所残留圧証拠、宣言されたレートシナリオを記録している。
論文 参考訳（メタデータ） (2026-07-05T21:23:26Z) - Risk-Constrained Freshness-Aware Semantic Caching for Open-Web Retrieval-Augmented LLMs [0.0]
本稿では,キャッシュ再利用をリスク制約のある時間的推論問題として扱う3層セマンティックキャッシュであるFreshCacheを提案する。
FreshCacheは、その確率が回答、URLリスト、ページ内容の階層ごとのエラー予算を下回る場合にのみ、再利用を承認する。
24時間評価ウィンドウでは、FreshCache_MLPが97%の検索API保存を0.1%のハッシュベースのストールエラーで達成している。
論文 参考訳（メタデータ） (2026-07-05T12:47:36Z) - FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。
各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。
FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-30T10:21:20Z) - Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。
エージェントはデプロイ後、いつまで信頼できるのか?
エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-25T19:55:12Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z) - STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。
本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。
本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T16:25:41Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳（メタデータ） (2024-03-27T15:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。