論文の概要: SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay

• arxiv url: http://arxiv.org/abs/2608.03063v1
• Date: Tue, 04 Aug 2026 03:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.00733
• Title: SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
• Title（参考訳）: SeqLLM:WeChat Payにおける高スループット決定のための行動系列モデリングによるLLMの拡張
• Abstract要約: SeqLLMは、事前訓練された言語モデルに振る舞いシーケンスモデリングを追加するフレームワークである。 WeChat Payで展開され、毎日数百万の商店をスクリーニングしている。 パブリックレコメンデーションベンチマークで最先端の結果が得られます。
• 参考スコア（独自算出の注目度）: 7.172973799726274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Merchant risk control at large payment platforms screens tens of millions of merchants daily, where false positives harm legitimate merchants and false negatives leave harmful activity undetected. The hardest cases require jointly understanding a merchant's textual profile and long behavioral sequence. Large language models (LLMs) excel at text but cannot natively model such sequences, while adapting them often causes catastrophic forgetting. We present SeqLLM, a framework that adds behavioral-sequence modeling to a pretrained LLM while preserving its language ability. SeqLLM combines three components: a compact discrete vocabulary that represents behavioral events as native tokens; a lightweight projector, trained with a two-stage alignment curriculum, that grounds these tokens in the LLM's semantic space; and prefix-guided capability injection, which acquires sequence-modeling ability through task-prefixed supervised fine-tuning rather than continual pre-training. SeqLLM is deployed at WeChat Pay, screening millions of merchants daily. Against the production DeepSeek-based LLM baseline, it raises screening precision from 92.0% to 97.5%. Its pretrained behavior-token embeddings also improve Precision@Top-0.01% by 26.8 percentage points in a production fraud detector serving billion-scale transaction traffic. Beyond payments, SeqLLM achieves state-of-the-art results on public recommendation benchmarks. On MovieLens and Amazon, it surpasses the strong User-LLM baseline by up to 32% relative Recall@5 while retaining markedly stronger language ability. On RecIF, it improves Pass@32 by 14.2% over the full OneRec-8B pipeline using only one-fifth of its GPU-days.
• Abstract（参考訳）: 大規模な支払いプラットフォームにおけるマーチャントリスクコントロールは、偽陽性が合法的な商人に害を与え、偽陰性が有害な活動を未発見のまま残す、数千万の商人を毎日スクリーニングする。 最も難しいケースは、商人のテキストプロファイルと長い行動シーケンスを共同で理解することである。 大規模言語モデル(LLM)はテキストでは優れているが、そのようなシーケンスをネイティブにモデル化することはできない。 本稿では,言語能力を維持しつつ,事前学習したLLMに行動系列モデリングを追加するフレームワークであるSeqLLMを提案する。 SeqLLMは、行動イベントをネイティブトークンとして表現するコンパクトな離散語彙、LLMのセマンティック空間にこれらのトークンを基盤とする2段階のアライメントカリキュラムで訓練された軽量プロジェクタ、タスクプリフィックスされた教師付き微調整によってシーケンスモデリング能力を取得するプレフィックス誘導機能インジェクションの3つのコンポーネントを組み合わせたものだ。 SeqLLMはWeChat Payにデプロイされ、毎日数百万の商人をスクリーニングしている。 DeepSeekベースのLCMベースラインに対して、スクリーニング精度は92.0%から97.5%に向上している。 その事前訓練された振る舞いの埋め込みは、数十億のトランザクショントラフィックを提供する生産不正検知器において、Precision@Top-0.01%を26.8%改善する。 支払い以外にも、SeqLLMはパブリックレコメンデーションベンチマークで最先端の結果を達成する。 MovieLensとAmazonでは、強力なUser-LLMベースラインを最大32%の相対Recall@5で上回り、言語能力は著しく向上している。 RecIFでは、GPUの5分の1しか使用せず、完全なOneRec-8BパイプラインでPass@32を14.2%改善している。

関連論文リスト

• TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents [41.82249291285459]
  TRACEは、モデルウェイトを変更することなく、スキルベースのエージェントの行動知識を反復的に改善する。 GPT-5.5では、TRACEは一貫性(Pass3)を34.6ポイント改善し、59.9%から94.5%に改善した。 これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。
  論文  参考訳（メタデータ） (2026-08-24T04:36:03Z)
• Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents [5.689042186242701]
  企業の専門家が暗黙的に適用する決定ルールは、反復的エラー分析によって体系的に回復し、改善することができる。 基本機構は textbfEISR である textbfTrace2Policy について述べる。 各ラウンドは検証セット上でルールを実行し、ルート原因によるエラーをMISSING、WRONG、CONFLICTタイプにクラスタし、ターゲットパッチを適用し、レグレッションゲートを通過するもののみをコミットする。
  論文  参考訳（メタデータ） (2026-06-09T06:05:29Z)
• Recursive language models for jailbreak detection: a procedural defense for tool-augmented agents [0.0]
  Recursive Language Models (RLM) に基づくエンドツーエンドのジェイルブレイク検出フレームワーク RLM-JB を提案する。 RLM-JBは、検出をワンショット分類ではなく手順として扱う。 AutoDANスタイルの逆入力では、RLM-JBは3つのLLMバックエンド間で高い検出効率を実現する。
  論文  参考訳（メタデータ） (2026-02-18T15:07:09Z)
• Anka: A Domain-Specific Language for Reliable LLM Code Generation [0.0]
  大規模言語モデル(LLM)は、複雑な多段階プログラミングタスクの体系的なエラーを示す。 明示的で制約のある構文で設計されたデータ変換パイプライン用のドメイン固有言語()であるAnkaを紹介します。 Ankaは100のベンチマーク問題に対して99.9%のパース成功と95.8%のタスク精度を達成した。
  論文  参考訳（メタデータ） (2025-12-29T05:28:17Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• PARDEN, Can You Repeat That? Defending against Jailbreaks via Repetition [10.476666078206783]
  大規模言語モデル(LLM)は多くの自然言語処理タスクで成功している。 Llama 2やClaude 2のような安全アライメントのLLMは、厳格な安全アライメントプロセスにもかかわらず、今でもジェイルブレイクの影響を受けやすい。 PARDENは、単にモデルに自身の出力を繰り返すように頼み、ドメインシフトを避ける。
  論文  参考訳（メタデータ） (2024-05-13T17:08:42Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• $k$NN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference [75.08572535009276]
  In-Context Learning (ICL) は、ターゲットタスクを、インコンテキストのデモンストレーションで条件付のプロンプト完了として定式化する。 $k$NN 最初のクエリ LLM を分散表現のトレーニングデータで実行し、近くの隣人を参照してテストインスタンスを予測する。 数ショットのシナリオでは、最先端のキャリブレーションベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-24T06:16:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。