論文の概要: MemRiskBench: Trace-Aware Risk-Preserving Evaluation for Long-Horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2609.14976v1
• Date: Mon, 14 Sep 2026 03:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.056704
• Title: MemRiskBench: Trace-Aware Risk-Preserving Evaluation for Long-Horizon LLM Agents
• Title（参考訳）: MemRiskBench:長軸LLM剤のトレース認識型リスク保存評価
• Abstract要約: MemRiskBenchは、完全なトレースログを持ち、パス/フェイルパスにLLM-as-judgeを含まない120文字のスクリプトベンチマークである。 リスク保存サブセットセレクタは、トレーサグラウンド決定性特徴を用いたリスクタイプカバレッジとハイリスク検出を保持する。 すべてのエピソード、トレース、スコアリング実装、セレクタがリリースされ、再現可能な評価と、デプロイされたLDMエージェントのリスク評価をサポートする。
• 参考スコア（独自算出の注目度）: 5.605743575854166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon LLM agents accumulate memory across sessions, creating sparse but high-impact risks: stale facts, conflicting updates, cross-user leakage, revoked-memory reuse, and constraint decay. Standard aggregate scores hide per-risk failure rates--a model achieving 78% average accuracy may still leak data in 4% of episodes--and benchmark compression preferentially discards the rare high-severity events that distinguish a mostly-working model from one that occasionally causes harm. We present MemRiskBench. The primary contribution is a five-category risk taxonomy (plus one documented, unscored category) operationalized by deterministic trace grounded checks, instantiated as a 120-episode scripted benchmark with full trace logging and no LLM-as-judge on the pass/fail path, evaluated on five locally run quantized instruction-tuned models. Second, a risk-preserving subset selector: a coverage-constrained greedy selector on deterministic trace-derived features that retains full ranking (Spearman rho = 0.975, deterministic; CI collapses to a point estimate with zero bootstrap variance), risk coverage (1.0), and high-risk model detection (1.0) at a 20% subset size, reducing compute 5x. Unlike ranking-only subset selectors, this selector additionally preserves risk-type coverage and high-risk detection using trace-grounded deterministic features that do not require an LLM judge. All episodes, traces, the scoring implementation, and the selector are released to support reproducible evaluation and risk assessment of deployed LLM agents
• Abstract（参考訳）: ロングホライゾンのLDMエージェントはセッション間でメモリを蓄積し、スパースでインパクトの高いリスクを生み出します。 標準アグリゲーションスコアはリスクごとの失敗率を隠している - 平均精度が78%に達するモデルは、エピソードの4%でまだデータをリークする可能性がある。 私たちはMemRiskBenchを紹介します。 主な貢献は、5つのカテゴリのリスク分類(+文書化されていないカテゴリ)で、決定論的トレース基底チェックによって運用され、完全なトレースロギングとパス/フェイルパスに対するLCM-as-judgeのない120エピソードのスクリプトベンチマークとしてインスタンス化され、局所的に実行される5つの量子化された命令チューニングモデルで評価される。 第2に、リスク保存サブセットセレクタ:完全なランキングを保持する決定論的トレース派生機能(Spearman rho = 0.975; 決定論的; CIはゼロブートストラップ分散でポイント推定に崩壊し、リスクカバレッジ(1.0)、ハイリスクモデル検出(1.0)を20%のサブセットサイズで検出し、計算5xを減少させる。 ランキングのみのサブセットセレクタとは異なり、このセレクタはLSM判定を必要としないトレーサグラウンド決定的特徴を用いたリスクタイプカバレッジとハイリスク検出を付加的に保持する。 全エピソード、トレース、スコアリング実装、セレクタがリリースされ、複製可能なLCMエージェントの評価とリスク評価をサポートする。

関連論文リスト

• LLMs for Zero-Shot Threat Detection via Structured Risk Indicators [3.888900238305354]
  異種セキュリティログからインサイダー脅威と高度な永続的脅威をゼロショットで検出するための2段階の大規模言語モデル(LLM)フレームワークを提案する。 このフレームワークは、行動行動を時系列としてモデル化し、検索強化世代(RAG)を組み込んで、ユーザの履歴活動から個人化されたコンテキストを提供する。 2つのベンチマークデータセット、インサイダー脅威検出のためのCERT r5.2、APT検出のためのPicoDomainで評価される。
  論文  参考訳（メタデータ） (2026-08-17T12:47:38Z)
• Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems [3.556355987197792]
  大規模言語モデル(LLM)と軽量な高速モデルをペアにするストリーミング推論パイプライン 我々はこれをリスクベースの逐次停止問題とみなし、観測履歴上のリスク関数がしきい値を超えるとトリガーポリシーが発火する。 その結果,引き金を除く最小時間,スムーズなペーストによるしきい値ポリシーの最適性,推定パラメータ下でのSPRT保証の近似,の6つの結果が得られた。
  論文  参考訳（メタデータ） (2026-06-27T08:18:09Z)
• An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic [16.151531550259993]
  大規模言語モデル(LLM)はホストAPIを通じてますますデプロイされ、モデルの抽出がモデルのオーナシップとサービスのセキュリティに対する現実的な脅威となる。 我々は、良性キャリブレーションされた交通窓分布試験としてモデル抽出監視を定式化する。 入力クエリをセマンティック空間に埋め込み、それらの集合分布が過去の良性トラフィックから逸脱するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-04T05:33:49Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning [1.0998907972211756]
  SilentRetrievalは2段階のデータ中毒攻撃で、RAGシステムを敵対的な文書でハイジャックする。 SilentRetrievalは84.6%/81.3% HR@10、57.5%/54.8% ASR-LLM on Natural QuestionsとMS MARCOを達成している。
  論文  参考訳（メタデータ） (2026-05-27T07:30:30Z)
• Estimating near-verbatim extraction risk in language models with decoding-constrained beam search [66.14049361268074]
  グリーディ復号法は,シーケンス間の抽出リスクの変化を見逃していることを示す。 本稿では,デコード制約されたビームサーチを導入し,近赤外抽出リスクに対する決定論的下限を導出する。
  論文  参考訳（メタデータ） (2026-03-26T01:15:16Z)
• Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
  本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。 5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
  論文  参考訳（メタデータ） (2025-10-19T08:21:00Z)
• Conformal Inference under High-Dimensional Covariate Shifts via Likelihood-Ratio Regularization [35.16750653336608]
  ピンボール損失を正規化の新たな選択と組み合わせた正準比正則化量子回帰アルゴリズムを提案する。 LR-QR法は,対象領域の所望レベルにおいて,最小限の誤差項までカバレッジを有することを示す。 実験により、LR-QRアルゴリズムは、高次元予測タスクにおいて既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-02-18T16:46:44Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。