論文の概要: Dual-Stream LLM-Guided Reward Design for Reject-Inference-Aware Reinforcement Learning in E-Commerce Payment Fraud Detection
- arxiv url: http://arxiv.org/abs/2611.08706v1
- Date: Thu, 05 Nov 2026 21:02:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.73562
- Title: Dual-Stream LLM-Guided Reward Design for Reject-Inference-Aware Reinforcement Learning in E-Commerce Payment Fraud Detection
- Title(参考訳): E-Commerce Payment Fraud Detectionにおけるリジェクション推論型強化学習のためのデュアルストリームLLM誘導リワード設計
- Abstract要約: 生産不正検出モデルは、自身のトラフィックの検閲されたスライスから学習する。
我々は、LLMが2段階のREINFORCE詐欺防止政策の報奨を進化させるQu et al.(2025)を拡張した。
ストリーム1は、ラベル付きトランザクションに標準のドル重み付き精度目標を適用し、ストリーム2はレガシーブロックされた未ラベルのトランザクションをスコアする。
- 参考スコア(独自算出の注目度): 1.762851385078389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Production fraud-detection models learn from a censored slice of their own traffic: transactions a legacy system blocked never receive fraud labels, so models train on a biased, approved-only distribution. We extend LLM-guided reward design, the framework of Qu et al. (2025) in which an LLM evolves the reward of a two-step REINFORCE fraud-blocking policy, to attack this reject-inference problem inside the reward. A single LLM designs a dual-stream reward: stream 1 applies the standard dollar-weighted precision objective to labeled transactions; stream 2 scores legacy-blocked, unlabeled transactions by contrasting the newest gradient-boosted risk signal against the legacy scores that drove the original block. Rather than prescribe which signals matter, we expose a superset of evidence and let the LLM decide for itself which to use, guided by evaluation feedback alone; because it writes the reward as code, that choice is directly auditable. On a held-out four-month out-of-time test, the dual-stream agent beats the prior labeled-only agent at every target recall, by +4.7, +2.4 and +3.0 points of dollar-weighted precision at 80%, 85% and 90% recall, and the production baseline by +6.8 points on average. The resulting policy is architecturally identical to that of Qu et al. (2025) and adds no inference cost.
- Abstract(参考訳): レガシーシステムがブロックされたトランザクションは、不正ラベルを受け取らないので、モデルはバイアスがあり、承認されたのみの配布でトレーニングする。
我々は、LLMが2段階のREINFORCE不正ブロックポリシーの報酬を進化させるQu et al(2025)の枠組みであるLLM誘導報酬設計を拡張し、報酬内部のこの拒絶推論問題に対処する。
ストリーム1は、ラベル付きトランザクションに標準のドル重み付き精度目標を適用し、ストリーム2は、最新の勾配付きリスク信号と、元のブロックを駆動したレガシースコアとを対比して、レガシブロックされた未ラベルのトランザクションをスコアする。
どの信号が重要なのかを規定する代わりに、私たちは証拠のスーパーセットを公開し、評価フィードバックのみによってガイドされるLCMが使用するもの自体を判断させます。
4ヶ月のアウト・オブ・タイムテストで、デュアルストリームエージェントは、目標のリコール毎に、前回のラベル付き専用エージェントを+4.7、+2.4、+3.0ポイントのドル重み精度80%、85%、90%のリコールで打ち負かし、生産ベースラインを+6.8ポイントで打ち負かした。
結果として得られたポリシーは、アーキテクチャ上Qu et al (2025)と同一であり、推論コストは加算されない。
関連論文リスト
- Patching the Blind Spots: Reversible LLM Rule Overlay for Frozen Fraud Detectors [1.762851385078389]
我々は、十分に訓練された不正モデルを修正せずにパッチするフレームワークを提案する。
選択バイアスデータに基づいて訓練された現実世界のeコマース詐欺検知器では、オーバーレイは平均+2.26%のリコールで等精度で上昇する。
論文 参考訳(メタデータ) (2026-11-05T21:12:11Z) - Governed Self-Evolution for Autonomous Investing: A Multi-Agent LLM System with an Invariant Core [6.288734775961661]
我々は,その型システムにおける自己進化の境界を描画するマルチエージェントLLMシステムであるStewardを提案する。
4人のアナリストがニュースフィード、SEC(証券取引委員会)の申請書、マクロ経済シリーズ、および市場データを読み、タイプ付きレポートを発行する。
第2に、システム自身のレコードからコードによって組み立てられた7層共有メモリは、それぞれの決定にその位置コンテキストを与える。
第3に、システムはレビューによって改善されている。コードはすべての取引をグレードし、夜間に予測し、グレードをメモリに書き込む。
論文 参考訳(メタデータ) (2026-10-22T00:22:47Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳(メタデータ) (2026-10-13T17:22:58Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳(メタデータ) (2026-09-23T17:54:01Z) - OPPO: Bayesian Value Recursion for Token-Level Credit Assignment in LLM Reasoning [17.98540130851038]
検証可能な報酬を伴う強化学習は、LSM推論を改善するための標準的なレシピとなっている。
しかし、支配的なアルゴリズム GRPO は全てのトークンに対して単一の軌道レベルの利点を割り当てる。
我々は,Oracle-Prompted Policy Optimization (OPPO)を提案する。
論文 参考訳(メタデータ) (2026-05-21T00:55:13Z) - Can Blindfolded LLMs Still Trade? An Anonymization-First Framework for Portfolio Optimization [1.0957528713294875]
LLMのトレーディングエージェントは、記憶されたティッカー・アソシエーションの活用よりも、市場のダイナミクスの理解を実証しなければならない。
我々は,チッカー固有の事前トレーニングによる記憶バイアスと,欠陥のあるバックテストによる生存バイアスの2つの源泉に対処する。
我々のアプローチは、エージェントを盲目化し、すべての識別子を匿名化し、意味のあるシグナルが持続するかどうかを検証することである。
論文 参考訳(メタデータ) (2026-03-18T13:09:11Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。
本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。
LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文 参考訳(メタデータ) (2024-12-29T06:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。