論文の概要: 360Brew: A Decoder-only Foundation Model for Personalized Ranking and Recommendation

• arxiv url: http://arxiv.org/abs/2501.16450v1
• Date: Mon, 27 Jan 2025 19:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:41:56.038240
• Title: 360Brew: A Decoder-only Foundation Model for Personalized Ranking and Recommendation
• Title（参考訳）: 360Brew: パーソナライズされたランク付けとレコメンデーションのためのデコーダのみのファンデーションモデル
• Authors: Hamed Firooz, Maziar Sanjabi, Adrian Englhardt, Aman Gupta, Ben Levine, Dre Olgiati, Gungor Polatkan, Iuliia Melnychuk, Karthik Ramgopal, Kirill Talanine, Kutta Srinivasan, Luke Simon, Natesh Sivasubramoniapillai, Necip Fazil Ayan, Qingquan Song, Samira Sriram, Souvik Ghosh, Tao Song, Vignesh Kothapalli, Xiaoling Zhai, Ya Xu, Yu Wang, Yun Dai,
• Abstract要約: 我々は、LinkedInのデータとタスクに基づいてトレーニングされ、微調整された150Bパラメータ、デコーダのみのモデルである、研究前のモデルである360Brew V1.0を紹介します。 このモデルは、LinkedInプラットフォームのさまざまなセグメントで30以上の予測タスクを解決し、現在のプロダクションシステムと同等以上のパフォーマンスレベルを達成することができる。
• 参考スコア（独自算出の注目度）: 16.109362001890812
• License:
• Abstract: Ranking and recommendation systems are the foundation for numerous online experiences, ranging from search results to personalized content delivery. These systems have evolved into complex, multilayered architectures that leverage vast datasets and often incorporate thousands of predictive models. The maintenance and enhancement of these models is a labor intensive process that requires extensive feature engineering. This approach not only exacerbates technical debt but also hampers innovation in extending these systems to emerging problem domains. In this report, we present our research to address these challenges by utilizing a large foundation model with a textual interface for ranking and recommendation tasks. We illustrate several key advantages of our approach: (1) a single model can manage multiple predictive tasks involved in ranking and recommendation, (2) decoder models with textual interface due to their comprehension of reasoning capabilities, can generalize to new recommendation surfaces and out-of-domain problems, and (3) by employing natural language interfaces for task definitions and verbalizing member behaviors and their social connections, we eliminate the need for feature engineering and the maintenance of complex directed acyclic graphs of model dependencies. We introduce our research pre-production model, 360Brew V1.0, a 150B parameter, decoder-only model that has been trained and fine-tuned on LinkedIn's data and tasks. This model is capable of solving over 30 predictive tasks across various segments of the LinkedIn platform, achieving performance levels comparable to or exceeding those of current production systems based on offline metrics, without task-specific fine-tuning. Notably, each of these tasks is conventionally addressed by dedicated models that have been developed and maintained over multiple years by teams of a similar or larger size than our own.
• Abstract（参考訳）: ランキングとレコメンデーションシステムは、検索結果からパーソナライズされたコンテンツ配信まで、数多くのオンライン体験の基礎となっている。 これらのシステムは、膨大なデータセットを活用し、数千の予測モデルを組み込む複雑な多層アーキテクチャへと進化してきた。 これらのモデルのメンテナンスと強化は、広範な機能エンジニアリングを必要とする労働集約的なプロセスである。 このアプローチは技術的負債を悪化させるだけでなく、これらのシステムを新たな問題領域に拡張するイノベーションを妨げます。 本稿では,これらの課題に対処するために,ランキングとレコメンデーションタスクのためのテキストインタフェースを備えた大規模基盤モデルを提案する。 1つのモデルがランキングとレコメンデーションに関わる複数の予測タスクを管理できる、(2)推論能力の理解によるテキストインタフェースによるデコーダモデルが新しいレコメンデーションサーフェスやドメイン外問題に一般化できる、(3)タスク定義に自然言語インタフェースを応用し、メンバーの行動と社会的つながりを言語化することにより、機能工学やモデル依存の複雑な非循環グラフの保守の必要性を排除できる。 我々は、LinkedInのデータとタスクに基づいてトレーニングされ、微調整された150Bパラメータ、デコーダのみのモデルである、研究前のモデルである360Brew V1.0を紹介します。 このモデルは、LinkedInプラットフォームのさまざまなセグメントにわたる30以上の予測タスクを解決し、タスク固有の微調整なしで、オフラインメトリクスに基づいて現在の運用システムと同等以上のパフォーマンスレベルを達成することができる。 特筆すべきは、これらのタスクは、通常、私たち自身のものと同じまたは大きなサイズのチームによって、何年にもわたって開発され、維持されてきた専用モデルによって対処されます。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models [28.993221775758702]
  モデルマージ(英: Model merging)は、複数の大きな事前訓練されたモデルを単一のモデルに組み合わせ、パフォーマンスを向上し、タスク適応性を高める手法である。 本稿では,よりフレキシブルで包括的なモデルマージ技術への大きな進歩を示す。 我々は、重みベクトルのオフラインサンプリングを用いてポリシーと価値ネットワークを訓練し、マージ戦略のオンライン最適化に使用される。
  論文  参考訳（メタデータ） (2024-09-27T16:31:31Z)
• Generalist Multimodal AI: A Review of Architectures, Challenges and Opportunities [5.22475289121031]
  マルチモーダルモデルは、人工知能の今後の進歩にとって重要な要素であると期待されている。 この研究は、新しいアーキテクチャと特定の分類学を訓練することで、一般のマルチモーダルモデルに対する新たな視点を提供する。
  論文  参考訳（メタデータ） (2024-06-08T15:30:46Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs [71.7495056818522]
  私たちは、基礎モデルと数百万のAPIを結合してタスク補完を行う、新しいAIエコシステムとしてTaskMatrix.AIを紹介します。 このようなエコシステムを構築するためのビジョンを示し、それぞれの重要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。
  論文  参考訳（メタデータ） (2023-03-29T03:30:38Z)
• Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
  マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・ 次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
  論文  参考訳（メタデータ） (2023-02-20T15:34:03Z)
• Model Ratatouille: Recycling Diverse Models for Out-of-Distribution Generalization [99.6826401545377]
  ファウンデーションモデルは、AIシステムの構築方法を再定義している。実践者は、機械学習ソリューションを構築するための標準手順に従う。 我々は,多種多様な補助的タスクにおいて,同じ基礎モデルの複数の微調整をリサイクルする新しい戦略であるモデルラタトゥーイユを提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:21:46Z)
• Foundation models in brief: A historical, socio-technical focus [2.5991265608180396]
  ディープラーニングをスケールアップすることで、将来のAI開発には、ファンデーションモデルが破壊的になる可能性がある。 モデルは自然言語処理やコンピュータビジョンといった分野における様々なタスクにおいて最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-12-17T22:11:33Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Multi-Modal Experience Inspired AI Creation [33.34566822058209]
  シーケンシャルなマルチモーダル情報に基づいてテキストを生成する方法について検討する。 まず,マルチモーダルアテンションネットワークを備えたマルチチャネルシーケンス・ツー・シーケンスアーキテクチャを設計する。 次に、逐次入力に適したカリキュラム負サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-09-02T11:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。