論文の概要: SENTRY: Deterministic, Intelligent Risk Assessment for IT Change Management
- arxiv url: http://arxiv.org/abs/2608.21203v1
- Date: Fri, 21 Aug 2026 15:18:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.616354
- Title: SENTRY: Deterministic, Intelligent Risk Assessment for IT Change Management
- Title（参考訳）: SENTRY: IT変革管理のための決定論的かつインテリジェントなリスクアセスメント
- Abstract要約: 本稿では,アンケートに基づくスコアリングを決定論的機械学習パイプラインに置き換えるリスク評価プラットフォームであるSENTRYを提案する。
このシステムは、構造化された運用メタデータ、アプリケーション依存グラフ、過去のインシデント記録と、履歴変更要求に対するハイブリッドなセマンティクスと語彙検索を組み合わせる。
ROC AUCは0.87と85%の精度で達成され、既存のプロセスの約3.25倍のリスク変化を検出する。
- 参考スコア（独自算出の注目度）: 3.6992654014782516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Technology change management in large financial institutions depends on risk assessments that are accurate, consistent, and auditable. In practice, many institutions still rely on self-reported questionnaires. Those questionnaires are subjective, easy to game, and poor at separating routine changes from the ones that later trigger major incidents. This paper presents SENTRY, a risk assessment platform that replaces questionnaire-based scoring with a deterministic machine learning pipeline built from gradient-boosted decision trees (XGBoost) and hybrid retrieval-augmented generation (RAG). The system combines structured operational metadata, application dependency graphs, and historical incident records with a hybrid semantic and lexical search over historical change requests. The retrieval step captures the risk signal in unstructured change request text, then compresses that signal into a single scalar feature before model inference. That design keeps the model deterministic and preserves per-prediction explainability via SHAP values. Evaluated on enterprise-scale change data, SENTRY achieves a ROC AUC of 0.87 and 85% overall accuracy, and it detects high-risk changes at roughly 3.25 times the rate of the existing process. We close by examining the architectural trade-offs behind this design and what they imply for the use of machine learning in regulated change management.
- Abstract（参考訳）: 大手金融機関における技術変革管理は、正確で一貫性があり、監査可能なリスク評価に依存している。
実際には、多くの機関が自己報告のアンケートに頼っている。
これらの質問は主観的で、ゲームが簡単で、日常的な変化を、後に大きな出来事を引き起こすものから切り離すのが苦手です。
本稿では,階層型決定木(XGBoost)とハイブリッド検索強化世代(RAG)から構築した決定論的機械学習パイプラインを,アンケートに基づくスコアリングに置き換えたリスク評価プラットフォームであるSENTRYを提案する。
このシステムは、構造化された運用メタデータ、アプリケーション依存グラフ、過去のインシデント記録と、履歴変更要求に対するハイブリッドなセマンティクスと語彙検索を組み合わせる。
検索ステップは、非構造化変更要求テキストでリスク信号をキャプチャし、モデル推論の前にその信号を単一のスカラー特徴に圧縮する。
その設計はモデルを決定論的に保ち、SHAP値を介して予測ごとの説明可能性を保持する。
企業規模の変更データに基づいて、SENTRYはROC AUCを0.87と85%の精度で達成し、リスクの高い変更を既存のプロセスの約3.25倍の速度で検出する。
私たちは、この設計の背後にあるアーキテクチャ上のトレードオフと、それらが規制された変更管理に機械学習を使用することに意味するものを調べて、締めくくります。
関連論文リスト
- Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Deployment Risk Assessment Using Diff-Aware Features: A Case Study at Prime Video [0.4310167974376404]
現在の変更管理アプローチでは、リスクに関わらず、すべての変更をブロックするブランケットデプロイメントフリーズを使用している。
コード修正から直接派生した特徴である差分認識機能を中心にしたフレームワークを導入する。
我々はLLMを多言語特徴抽出器として使用し、生成タスクを超えたコード解析の有効性を実証した。
論文 参考訳（メタデータ） (2026-07-07T19:54:16Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - URAG: A Benchmark for Uncertainty Quantification in Retrieval-Augmented Large Language Models [35.441039437111606]
URAGは、医療、プログラミング、科学、数学、一般的なテキストなど、さまざまな分野にわたるRAGシステムの不確実性を評価するために設計されたベンチマークである。
評価パイプラインを8つの標準RAG手法に適用し,LACとAPSの計測値に基づいて,精度と予測セットのサイズを両立させ,その性能を計測する。
論文 参考訳（メタデータ） (2026-03-02T00:22:06Z) - Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。
実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。
合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
論文 参考訳（メタデータ） (2025-09-30T17:52:12Z) - RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems [33.389969814185214]
Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。
既存の評価では、RAGシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどれくらいうまく対処しているかを検査することはめったにない。
本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
論文 参考訳（メタデータ） (2025-06-01T02:42:36Z) - Semantic Tokens in Retrieval Augmented Generation [0.0]
本稿では,確率的RAGシステムと決定論的に検証可能な応答のギャップを埋めるための評価モジュールを導入した新しい比較RAGシステムを提案する。
このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションを実現する。
論文 参考訳（メタデータ） (2024-12-03T16:52:06Z) - Linguistic Fuzzy Information Evolution with Random Leader Election Mechanism for Decision-Making Systems [58.67035332062508]
言語ファジィ情報進化はエージェント間の情報交換を理解する上で重要である。
エージェントの重みの違いは、古典的なDeGrootモデルにおいて異なる収束結果をもたらす可能性がある。
本稿では,言語ファジィ情報力学の新しい3つのモデルを提案する。
論文 参考訳（メタデータ） (2024-10-19T18:15:24Z) - Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳（メタデータ） (2024-09-24T14:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。