論文の概要: InfoBehavior: Self-supervised Representation Learning for Ultra-long Behavior Sequence via Hierarchical Grouping

• arxiv url: http://arxiv.org/abs/2106.06905v1
• Date: Sun, 13 Jun 2021 03:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:12:45.434407
• Title: InfoBehavior: Self-supervised Representation Learning for Ultra-long Behavior Sequence via Hierarchical Grouping
• Title（参考訳）: InfoBehavior:階層的グループ化による超長期行動系列の自己教師型表現学習
• Authors: Runshi Liu, Pengda Qin, Yuhong Li, Weigao Wen, Dong Li, Kefeng Deng, Qiang Wu
• Abstract要約: 電子商取引会社は、リスクの高い製品を販売している異常な売り手と向き合わなければならない。 従来の特徴抽出技術はドメインの専門家に大きく依存し、新しいタスクにうまく適応する。 超長い生の行動列から意味のある表現を自動的に抽出する自己教師型InfoBehaviorを提案する。
• 参考スコア（独自算出の注目度）: 14.80873165144865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: E-commerce companies have to face abnormal sellers who sell potentially-risky products. Typically, the risk can be identified by jointly considering product content (e.g., title and image) and seller behavior. This work focuses on behavior feature extraction as behavior sequences can provide valuable clues for the risk discovery by reflecting the sellers' operation habits. Traditional feature extraction techniques heavily depend on domain experts and adapt poorly to new tasks. In this paper, we propose a self-supervised method InfoBehavior to automatically extract meaningful representations from ultra-long raw behavior sequences instead of the costly feature selection procedure. InfoBehavior utilizes Bidirectional Transformer as feature encoder due to its excellent capability in modeling long-term dependency. However, it is intractable for commodity GPUs because the time and memory required by Transformer grow quadratically with the increase of sequence length. Thus, we propose a hierarchical grouping strategy to aggregate ultra-long raw behavior sequences to length-processable high-level embedding sequences. Moreover, we introduce two types of pretext tasks. Sequence-related pretext task defines a contrastive-based training objective to correctly select the masked-out coarse-grained/fine-grained behavior sequences against other "distractor" behavior sequences; Domain-related pretext task designs a classification training objective to correctly predict the domain-specific statistical results of anomalous behavior. We show that behavior representations from the pre-trained InfoBehavior can be directly used or integrated with features from other side information to support a wide range of downstream tasks. Experimental results demonstrate that InfoBehavior significantly improves the performance of Product Risk Management and Intellectual Property Protection.
• Abstract（参考訳）: 電子商取引会社は、リスクの高い商品を販売する異常な売り手と向き合わなければならない。 通常、リスクは製品の内容(タイトルやイメージなど)と販売者の振る舞いを共同で考慮することで特定できる。 本研究は,販売者の行動習慣を反映して,行動系列がリスク発見の手がかりとなる行動特徴抽出に焦点を当てている。 従来の特徴抽出技術はドメインの専門家に大きく依存し、新しいタスクにうまく適応する。 本稿では,高コストな特徴選択手法ではなく,超長生動作列から有意義表現を自動的に抽出する自己教師あり手法infobehaviorを提案する。 infobehaviorは長期的な依存関係のモデリングに優れた能力を持つため、双方向トランスフォーマを特徴エンコーダとして利用する。 しかし、Transformerが要求する時間とメモリは、シーケンス長の増加とともに2倍に増加するため、コモディティGPUには難航する。 そこで本研究では,超長生動作シーケンスを長処理可能な高レベル埋め込みシーケンスに集約する階層的グループ化戦略を提案する。 さらに,2種類のプレテキストタスクを導入する。 シーケンス関連プレテキストタスクは、マスクアウトされた粗粒/細粒の動作シーケンスを他の「ディトラクタ」行動シーケンスに対して正しく選択する対照的なトレーニング目標を定義する。 事前学習したInfoBehaviorの動作表現は、他のサイド情報からの機能と直接的に統合して、幅広い下流タスクをサポートすることができることを示す。 実験の結果,InfoBehaviorは製品リスク管理と知的財産保護の性能を大幅に向上させることがわかった。

関連論文リスト

• Uniting contrastive and generative learning for event sequences models [51.547576949425604]
  本研究では,2つの自己指導型学習手法 – 例えば,コントラスト学習と,潜在空間におけるマスクイベントの復元に基づく生成的アプローチ – の統合について検討する。 いくつかの公開データセットで行った実験は、シーケンス分類と次点型予測に焦点を合わせ、統合された手法が個々の手法と比較して優れた性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-19T13:47:17Z)
• Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning [28.673952870674146]
  教師なし特徴変換学習のための測定-事前訓練-ファネチューンパラダイムを開発した。 教師なし特徴集合の実用性測定のために,特徴値の整合性維持の観点から提案する。 生成的変換ファインタニングでは,特徴集合を特徴クロスシーケンス,特徴変換を逐次生成とみなす。
  論文  参考訳（メタデータ） (2024-05-27T06:50:00Z)
• Personalized Behavior-Aware Transformer for Multi-Behavior Sequential Recommendation [25.400756652696895]
  マルチビヘイビアシーケンスレコメンデーション(MBSR)問題に対するパーソナライズされた行動認識変換フレームワーク(PBAT)を提案する。 PBATは表現層にパーソナライズされた振舞いパターン生成器を開発し,逐次学習のための動的・識別的な振舞いパターンを抽出する。 3つのベンチマークデータセットで実験を行い、その結果、フレームワークの有効性と解釈性を示した。
  論文  参考訳（メタデータ） (2024-02-22T12:03:21Z)
• Deep Group Interest Modeling of Full Lifelong User Behaviors for CTR Prediction [32.35797628133921]
  Deep Group Interest Network (DGIN) は、ユーザーの行動履歴をモデル化するエンド・ツー・エンドの手法である。 DGINグルーピングはO(104)からO(102)までの行動長を著しく減少させる 我々は、生涯の行動シーケンスから、同じ項目_idと候補項目を共有する行動のサブセットを同定する。
  論文  参考訳（メタデータ） (2023-11-15T06:36:11Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)
• Recommender Transformers with Behavior Pathways [50.842316273120744]
  Recommender Transformer (RETR) を新しいパスウェイアテンション機構で構築する。 実世界の7つのデータセットにおけるRETRの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-06-13T08:58:37Z)
• TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
  そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。 提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
  論文  参考訳（メタデータ） (2022-02-17T05:52:18Z)
• ASFormer: Transformer for Action Segmentation [9.509416095106493]
  本稿では,アクションセグメンテーションタスクのための効率的なトランスフォーマーベースモデルASFormerを提案する。 信頼された範囲内で仮説空間を制約し、アクションセグメンテーションタスクが小さなトレーニングセットで適切なターゲット関数を学習するのに有益である。 我々は、長い入力シーケンスを効率的に処理する事前定義された階層表現パターンを適用した。
  論文  参考訳（メタデータ） (2021-10-16T13:07:20Z)
• Explainable Deep Behavioral Sequence Clustering for Transaction Fraud Detection [3.9505606841402607]
  クラスタリングのためのディープラーニングに基づく行動データ表現法(FinDeepBehaviorCluster)を提案し,不正取引を検出する。 動作シーケンスデータを利用するために,クリックストリームデータをイベントシーケンスとして扱い,時間アテンションに基づくBi-LSTMを用いて,教師なしの方法でシーケンス埋め込みを学習し,リスクエキスパートが生成した直感的な特徴と組み合わせてハイブリッドな特徴表現を形成する。 実験の結果,提案するFinDeepBehaviorClusterフレームワークは,ビジネス価値の高い不正取引を捕捉できることがわかった。
  論文  参考訳（メタデータ） (2021-01-12T04:12:18Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。