論文の概要: Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack
- arxiv url: http://arxiv.org/abs/2605.11232v1
- Date: Mon, 11 May 2026 20:47:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.424582
- Title: Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack
- Title(参考訳): フラッドとAMLのためのLLMOpsを再考する - コンプライアンスグレードのLLMServing Stackの構築
- Authors: Prathamesh Vasudeo Naik, Naresh Dintakurthi, Yue Wang,
- Abstract要約: 不正かつアンチマネーロンダリング(AML)コンプライアンスは、大言語モデル(LLM)の高価値ドメインである
コンプライアンスプロンプトはプレフィックス重、スキーマ制約、エビデンスリッチであることが多い。
これらのプロパティはプレフィックスの再利用、KVキャッシュの効率、ランタイムチューニング、モデルオーケストレーション、出力バリデーションの1次システムの関心事を可能にする。
- 参考スコア(独自算出の注目度): 2.299706695317804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fraud detection and anti-money-laundering (AML) compliance are high-value domains for large language models (LLMs), but their serving requirements differ sharply from generic chat workloads. Compliance prompts are often prefix-heavy, schema-constrained, and evidence-rich, combining reusable policy instructions, risk taxonomies, transaction or document context, and short structured outputs such as JSON labels or risk factors. These properties make prefix reuse, KV-cache efficiency, runtime tuning, model orchestration, and output validation first-order systems concerns. This paper introduces a workload-aware LLMOps stack for fraud and AML workloads using self-hosted open-weight models such as Meta Llama and Alibaba Qwen. The stack combines vLLM-style runtime tuning, PagedAttention, Automatic Prefix Caching, multi-adapter serving, adapter and prompt-length-aware batching, sleep/wake lifecycle management, speculative decoding, and optional prefill/decode disaggregation. To avoid exposing institution-specific data, the reproducibility track converts public synthetic AML datasets, including IBM AML and SAML-D, into prefix-heavy compliance prompts with reusable policy text, transaction evidence, typology definitions, and schema-constrained outputs. We also incorporate an LLM-as-judge quality gate using deterministic compliance checks, reference metrics, expert-adjudicated calibration data where available, and multi-judge rubric scoring. Across public-synthetic AML workloads and controlled serving benchmarks, workload-aware tuning improved throughput from 612-650 to 3,600 requests/hour, reduced P99 latency from 31-38 seconds to 6.4-8.7 seconds, and increased GPU utilization from 12% to 78%. These results show that regulated LLM performance is a workload-design, serving-optimization, and quality-gating problem, not only a model-selection problem.
- Abstract(参考訳): 不正検出とアンチマネーロンダリング(AML)のコンプライアンスは、大規模言語モデル(LLM)の高価値ドメインである。
コンプライアンスプロンプトはプレフィックス重、スキーマ制約、エビデンスリッチで、再利用可能なポリシ命令、リスク分類、トランザクションやドキュメントコンテキスト、JSONラベルやリスクファクタといった短い構造化されたアウトプットを組み合わせたものだ。
これらのプロパティはプレフィックスの再利用、KVキャッシュの効率、ランタイムチューニング、モデルオーケストレーション、出力バリデーションの1次システムの関心事を可能にする。
本稿では,Meta LlamaやAlibaba Qwenといった自己ホスト型オープンウェイトモデルを用いて,不正およびAMLワークロードを対象としたワークロード対応LLMOpsスタックを提案する。
スタックには、vLLMスタイルのランタイムチューニング、PagedAttention、自動修正キャッシュ、マルチアダプタサービス、アダプタとプロンプト長対応バッチ、スリープ/ウェイクライフサイクル管理、投機的デコーディング、オプションのプリフィル/デコードデアグリゲーションが組み込まれている。
機関固有のデータを公開するのを避けるために、再現性トラックは、IBM AMLやSAML-Dを含む公開合成AMLデータセットを、再利用可能なポリシーテキスト、トランザクションエビデンス、タイプロジー定義、スキーマ制約された出力でプレフィックス重コンプライアンスプロンプトに変換する。
また, LLM-as-judgeの品質ゲートを, 決定論的コンプライアンスチェック, 基準指標, 利用可能な専門家適応校正データ, マルチジャッジルーリックスコアを用いて組み込んだ。
パブリックシンセティックなAMLワークロードとコントロールされたサービスベンチマーク、ワークロード対応のチューニングによってスループットが612-650から3600リクエスト/時間に向上し、P99レイテンシが31-38秒から6.4-8.7秒に短縮され、GPU使用率が12%から78%に向上した。
これらの結果から, LLM性能は, モデル選択問題だけではなく, 作業負荷設計, サービス最適化, 品質向上問題であることがわかった。
関連論文リスト
- Are LLMs Reliable Code Reviewers? Systematic Overcorrection in Requirement Conformance Judgement [8.059802912761919]
我々は,大規模言語モデル(LLM)が自然言語要求にマッチするコードの体系的失敗を明らかにする。
より詳細なプロンプト設計、特に説明や修正提案を必要とするものは、より高い誤判定率をもたらす。
そこで本稿では,提案した修正を実効的証拠として扱う固定誘導検証フィルタを提案する。
論文 参考訳(メタデータ) (2026-02-28T08:35:25Z) - DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。
dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。
モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文 参考訳(メタデータ) (2026-02-13T02:18:14Z) - SafeLoad: Efficient Admission Control Framework for Identifying Memory-Overloading Queries in Cloud Data Warehouses [59.68732483257323]
メモリオーバーロードは、クラウドデータウェアハウスにおけるリソースの枯渇の一般的な形態である。
我々は,メモリオーバロード(MO)クエリの特定に特化して設計された,最初のクエリ入力制御フレームワークであるSafeLoadを提案する。
SafeLoadは、オンラインおよびオフライン時間オーバーヘッドの少ない最先端の予測性能を実現する。
論文 参考訳(メタデータ) (2026-01-05T08:29:51Z) - Small Language Models for Agentic Systems: A Survey of Architectures, Capabilities, and Deployment Trade offs [0.10742675209112619]
小型言語モデル(SLM: 1-12B パラム、時には 20B まで)は十分であり、エージェント処理に優れていることが多い。
オープンおよびプロプライエタリなSLMにまたがって最近のエビデンスを合成し、近代的な評価に結び付ける。
本研究では,不確実性を考慮したルーティングと検証器カスケードを用いたSLMフォールバックシステムを定式化し,実生産目標を反映したエンジニアリングメトリクスを提案する。
論文 参考訳(メタデータ) (2025-10-04T15:48:04Z) - SweRank: Software Issue Localization with Code Ranking [109.3289316191729]
SweRankは、ソフトウェア問題ローカライゼーションのための効率的な検索と参照のためのフレームワークである。
パブリックなGitHubリポジトリからキュレートされた大規模なデータセットであるSweLocを構築します。
SweRankは最先端の性能を達成し、従来のランキングモデルとコストの高いエージェントベースシステムの両方より優れていることを示す。
論文 参考訳(メタデータ) (2025-05-07T19:44:09Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳(メタデータ) (2025-02-15T02:55:22Z) - Open-domain Implicit Format Control for Large Language Model Generation [52.83173553689678]
大規模言語モデル(LLM)における制御生成のための新しいフレームワークを提案する。
本研究では、LLMがオープンドメイン、ワンショット制約に従う能力と、サンプル回答の形式を再現する能力について検討する。
また、出力品質を劣化させることなく、LLMのオープンドメインフォーマット制御を強化する教師付き微調整のためのデータセット収集手法を開発した。
論文 参考訳(メタデータ) (2024-08-08T11:51:45Z) - TurboSpec: Closed-loop Speculation Control System for Optimizing LLM Serving Goodput [37.56866491624234]
大規模言語モデル (LLM) システムは、効率的なサービスを実現するために、同時ユーザー要求をバッチ化する。
本稿では,実行環境を自動的にプロファイリングする投機制御システムTurboSpecを提案する。
さまざまなワークロードとハードウェア構成にまたがって、その効果を実証します。
論文 参考訳(メタデータ) (2024-06-20T07:43:33Z) - Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction [8.705908108054878]
大型モデル(LLM)は、多くのドメインにわたるAIアプリケーションの新しい波を駆動している。
LLM出力シーケンス長の予測に光プロキシモデルを用いる投機的ショートストジョブファースト(SSJF)スケジューラを提案する。
論文 参考訳(メタデータ) (2024-04-12T14:46:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。