論文の概要: PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform

• arxiv url: http://arxiv.org/abs/2507.12704v1
• Date: Thu, 17 Jul 2025 00:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.30918
• Title: PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform
• Title（参考訳）: PinFM: 数十億ドル規模のビジュアルディスカバリプラットフォームにおけるユーザアクティビティシーケンスの基礎モデル
• Authors: Xiangyi Chen, Kousik Rajesh, Matthew Lawhon, Zelun Wang, Hanyu Li, Haomiao Li, Saurabh Vishwas Joshi, Pong Eksombatchai, Jaewon Yang, Yi-Ping Hsu, Jiajing Xu, Charles Rosenberg,
• Abstract要約: 我々は、数十億の視覚的発見プラットフォームにおいて、複数のアプリケーションにわたるユーザアクティビティシーケンスを理解するための基礎モデル、PinFMを提案する。 我々は、広範囲なユーザアクティビティデータを使用して20B以上のパラメータでトランスフォーマーモデルを事前訓練し、特定のアプリケーションに対して微調整する。 Deduplicated Cross-Attention Transformer (DCAT)のようなインフラストラクチャとアルゴリズムの最適化により、Pinterest上でのスループットが600%向上しました。
• 参考スコア（独自算出の注目度）: 9.628316811614566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User activity sequences have emerged as one of the most important signals in recommender systems. We present a foundational model, PinFM, for understanding user activity sequences across multiple applications at a billion-scale visual discovery platform. We pretrain a transformer model with 20B+ parameters using extensive user activity data, then fine-tune it for specific applications, efficiently coupling it with existing models. While this pretraining-and-fine-tuning approach has been popular in other domains, such as Vision and NLP, its application in industrial recommender systems presents numerous challenges. The foundational model must be scalable enough to score millions of items every second while meeting tight cost and latency constraints imposed by these systems. Additionally, it should capture the interactions between user activities and other features and handle new items that were not present during the pretraining stage. We developed innovative techniques to address these challenges. Our infrastructure and algorithmic optimizations, such as the Deduplicated Cross-Attention Transformer (DCAT), improved our throughput by 600% on Pinterest internal data. We demonstrate that PinFM can learn interactions between user sequences and candidate items by altering input sequences, leading to a 20% increase in engagement with new items. PinFM is now deployed to help improve the experience of more than a half billion users across various applications.
• Abstract（参考訳）: ユーザアクティビティシーケンスは、レコメンデーションシステムにおいて最も重要なシグナルの1つとして登場した。 我々は、数十億の視覚的発見プラットフォームにおいて、複数のアプリケーションにわたるユーザアクティビティシーケンスを理解するための基礎モデル、PinFMを提案する。 我々は、広範囲なユーザアクティビティデータを使用して20B以上のパラメータを持つトランスフォーマーモデルを事前訓練し、それを特定のアプリケーションのために微調整し、既存のモデルと効率的に結合する。 この事前学習と微調整のアプローチは、VisionやNLPといった他の領域でも人気があるが、産業レコメンデータシステムへの応用には多くの課題がある。 基本モデルは、これらのシステムによって課される厳格なコストとレイテンシの制約を満たしながら、毎秒数百万のアイテムをスコアするのに十分スケーラブルでなければならない。 さらに、ユーザアクティビティと他の機能間のインタラクションをキャプチャし、事前トレーニング期間中に存在しない新しいアイテムを処理する必要があります。 これらの課題に対処する革新的な技術を開発した。 Deduplicated Cross-Attention Transformer (DCAT)のようなインフラストラクチャとアルゴリズムの最適化により、Pinterestの内部データ上でのスループットが600%向上しました。 入力シーケンスを変化させることで,PinFMがユーザシーケンスと候補項目間のインタラクションを学習できることを示し,新しい項目へのエンゲージメントが20%向上することを示した。 PinFMは現在、さまざまなアプリケーションにまたがる10億人以上のユーザー体験を改善するためにデプロイされている。

関連論文リスト

• FuXi-$α$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer [81.12174905444229]
  近年の進歩は、大規模レコメンデーションモデルに逐次レコメンデーションモデルを拡張することが効果的な戦略であることを示している。 これらの問題に対処するために、FuXi-$alpha$と呼ばれる新しいモデルを提案する。 我々のモデルは既存のモデルよりも優れており、モデルのサイズが大きくなるにつれてその性能は継続的に向上する。
  論文  参考訳（メタデータ） (2025-02-05T09:46:54Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [64.28420991770382]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがるデータ処理オペレーターがバックアップするデータ処理システムである。 データ分析、アノテーション、基礎モデルポストトレーニングなど、より重要なタスクをサポートする。 さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction [68.90783662117936]
  クリックスルーレート(CTR)の予測は、オンラインパーソナライズプラットフォームにとって不可欠である。 近年の進歩は、リッチなユーザの振る舞いをモデル化することで、CTR予測の性能を大幅に改善できることを示している。 マルチグラニュラリティ興味検索ネットワーク(MIRRN)を提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:29:05Z)
• Retrieval Augmentation via User Interest Clustering [57.63883506013693]
  インダストリアルレコメンデータシステムは、ユーザ・イテム・エンゲージメントのパターンに敏感である。 本稿では,ユーザの関心を効率的に構築し,計算コストの低減を図る新しい手法を提案する。 当社のアプローチはMetaの複数の製品に展開されており、ショートフォームビデオ関連の推奨を助長しています。
  論文  参考訳（メタデータ） (2024-08-07T16:35:10Z)
• LiMAML: Personalization of Deep Recommender Models via Meta Learning [13.69036196446634]
  我々は、個人メンバーや他のエンティティのためのモデルのパーソナライズに適した革新的なメタラーニングソリューションを導入する。 モデル非依存メタラーニング(MAML)アルゴリズムを用いて,最近のユーザインタラクションデータを用いて,タスクごとのサブネットワークを適応する。 私たちのアプローチは、さまざまなLinkedInアプリケーションにまたがる、高度にパーソナライズされたAIモデルのデプロイを可能にしました。
  論文  参考訳（メタデータ） (2024-02-23T22:06:36Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• CAM2: Conformity-Aware Multi-Task Ranking Model for Large-Scale Recommender Systems [0.0]
  本稿では,業界最大のレコメンデーションプラットフォームであるCAM2を紹介する。 オンライン実験を通して、CAM2モデルがユーザエンゲージメントの累積を0.50%増加させることを示す。
  論文  参考訳（メタデータ） (2023-04-17T19:00:55Z)
• Multi-Behavior Sequential Recommendation with Temporal Graph Transformer [66.10169268762014]
  マルチビヘイビア・インタラクティブなパターンを意識した動的ユーザ・イテム関係学習に取り組む。 本稿では,動的短期および長期のユーザ・イテム対話パターンを共同でキャプチャする,TGT(Temporal Graph Transformer)レコメンデーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T15:42:54Z)
• Multimodal Personality Recognition using Cross-Attention Transformer and Behaviour Encoding [0.0]
  利用可能なすべてのデータを利用するタスクのフレキシブルなモデルを提案する。 この課題は複雑な関係を伴い、特にビデオ処理に大規模なモデルを用いることを避けるため、動作符号化の利用を提案する。
  論文  参考訳（メタデータ） (2021-12-22T19:14:55Z)
• Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction [23.460147230576855]
  我々は検索ベース興味モデル(SIM)と呼ばれる新しいモデリングパラダイムを提案する。 SIMは2つのカスケード検索ユニットでユーザ興味を抽出する。 2019年以降、SIMはAlibabaのディスプレイ広告システムにデプロイされ、CTRは7.1%、リフトは4.4%となっている。
  論文  参考訳（メタデータ） (2020-06-10T03:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。