論文の概要: Efficient and Responsible Adaptation of Large Language Models for Robust Top-k Recommendations

• arxiv url: http://arxiv.org/abs/2405.00824v1
• Date: Wed, 01 May 2024 19:11:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 01:28:23.913376
• Title: Efficient and Responsible Adaptation of Large Language Models for Robust Top-k Recommendations
• Title（参考訳）: ロバストトップk勧告に対する大規模言語モデルの効率的かつ責任のある適応
• Authors: Kirandeep Kaur, Chirag Shah,
• Abstract要約: 何百万というユーザの長いクエリは、大規模言語モデルのパフォーマンスを低下させ、推奨することができる。 本稿では,大規模言語モデルと従来のレコメンデーションシステムの両方の機能を利用するハイブリッドタスク割り当てフレームワークを提案する。 実世界の3つのデータセットによる結果から,弱い利用者の減少と,サブ人口に対するRSのロバスト性の向上が示唆された。
• 参考スコア（独自算出の注目度）: 11.004673022505566
• License:
• Abstract: Conventional recommendation systems (RSs) are typically optimized to enhance performance metrics uniformly across all training samples. This makes it hard for data-driven RSs to cater to a diverse set of users due to the varying properties of these users. The performance disparity among various populations can harm the model's robustness with respect to sub-populations. While recent works have shown promising results in adapting large language models (LLMs) for recommendation to address hard samples, long user queries from millions of users can degrade the performance of LLMs and elevate costs, processing times and inference latency. This challenges the practical applicability of LLMs for recommendations. To address this, we propose a hybrid task allocation framework that utilizes the capabilities of both LLMs and traditional RSs. By adopting a two-phase approach to improve robustness to sub-populations, we promote a strategic assignment of tasks for efficient and responsible adaptation of LLMs. Our strategy works by first identifying the weak and inactive users that receive a suboptimal ranking performance by RSs. Next, we use an in-context learning approach for such users, wherein each user interaction history is contextualized as a distinct ranking task and given to an LLM. We test our hybrid framework by incorporating various recommendation algorithms -- collaborative filtering and learning-to-rank recommendation models -- and two LLMs -- both open and close-sourced. Our results on three real-world datasets show a significant reduction in weak users and improved robustness of RSs to sub-populations $(\approx12\%)$ and overall performance without disproportionately escalating costs.
• Abstract（参考訳）: 従来のレコメンデーションシステム(RS)は、通常、すべてのトレーニングサンプルでパフォーマンス指標を均一に向上するように最適化されている。 これにより、データ駆動型RSは、これらのユーザのさまざまな特性のために、多様なユーザセットに対応するのが難しくなる。 様々な人口間のパフォーマンス格差は、サブ人口に対するモデルの堅牢性を損なう可能性がある。 最近の研究は、ハードサンプルに対処するために大規模な言語モデル(LLM)を適用するという有望な結果を示しているが、数百万人のユーザの長いクエリは、LCMのパフォーマンスを低下させ、コスト、処理時間、推論レイテンシを上昇させることができる。 これはレコメンデーションのためのLCMの実用性に挑戦する。 そこで本研究では,LLMと従来のRSの両機能を利用するハイブリッドタスク割り当てフレームワークを提案する。 サブ人口に対するロバスト性を改善するための2段階のアプローチを採用することにより、LLMの効率的かつ責任ある適応のためのタスクの戦略的割り当てを促進する。 当社の戦略は、まず、RSによる準最適ランキングパフォーマンスを受ける弱く非アクティブなユーザを特定します。 次に、このようなユーザに対してコンテキスト内学習アプローチを用い、各ユーザインタラクション履歴を、異なるランキングタスクとしてコンテキスト化してLLMに付与する。 私たちは、さまざまなレコメンデーションアルゴリズム(コラボレーティブフィルタリングとLearning-to-rankレコメンデーションモデル)と2つのLLM(オープンソースとオープンソースの両方)を組み込むことで、ハイブリッドフレームワークをテストします。 実世界の3つのデータセットによる結果から,RSの弱さを著しく低減し,サブ人口に対するロバスト性を改善した。

関連論文リスト

• Optimizing Large Language Models for Dynamic Constraints through Human-in-the-Loop Discriminators [0.0]
  大規模言語モデル(LLM)は、最近、様々な現実世界のアプリケーションにまたがる印象的な機能を実証した。 本稿では,LLMがシステムインターフェースと相互作用し,制約概念を要約し,性能指標を継続的に最適化するフレキシブルなフレームワークを提案する。 我々のフレームワークは、人間の識別器で7.78%のパスレート、LSMベースの識別器で6.11%のパスレートを達成した。
  論文  参考訳（メタデータ） (2024-10-19T17:27:38Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なタスクで顕著な成功を収めたため、人気が高まっている。 しかしながら、個々のLLMは、トレーニングバイアス、モデルサイズ、使用されるデータセットなどの要因のために、複雑なタスクに適用する場合に制限がある。 本稿では,入力クエリを大規模プールからLLMの最も適切なサブセットに誘導する新しいアルゴリズムであるSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• LLM4MSR: An LLM-Enhanced Paradigm for Multi-Scenario Recommendation [45.31960122494715]
  本稿では,LLM 拡張パラダイム LLM4MSR を提案する。 具体的には,まず LLM を利用してシナリオ相関やユーザ間の関心事など多段階の知識を明らかにする。 KuaiSAR-small、KuaiSAR、およびAmazonデータセットに関する我々の実験は、LLM4MSRの2つの重要な利点を検証した。
  論文  参考訳（メタデータ） (2024-06-18T11:59:36Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Value Augmented Sampling for Language Model Alignment and Personalization [39.070662999014836]
  報酬最適化のための新しいフレームワーク、価値拡張サンプリング(VAS)を提案する。 VASは、ポリシーと値関数を併用することなく、最適報酬最大化ポリシーを解く。 我々のアルゴリズムは、いくつかの報酬を作曲し、展開期間中に各報酬の幅を制御できる新しい能力を解き放ちます。
  論文  参考訳（メタデータ） (2024-05-10T17:59:04Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。