論文の概要: Can LLM-Driven Hard Negative Sampling Empower Collaborative Filtering? Findings and Potentials

• arxiv url: http://arxiv.org/abs/2504.04726v1
• Date: Mon, 07 Apr 2025 04:39:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:08:35.125838
• Title: Can LLM-Driven Hard Negative Sampling Empower Collaborative Filtering? Findings and Potentials
• Title（参考訳）: LLM駆動型ハード負サンプリングエンパワーフィルタは可能か?
• Authors: Chu Zhao, Enneng Yang, Yuting Liu, Jianzhe Zhao, Guibing Guo, Xingwei Wang,
• Abstract要約: 強い負のサンプルはモデル収束を加速し、決定境界を最適化する。 本稿ではセマンティックネガティブサンプリングの概念を紹介する。 協調信号によって制御される微調整LDMに基づくHNLMRecというフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.668242919588199
• License:
• Abstract: Hard negative samples can accelerate model convergence and optimize decision boundaries, which is key to improving the performance of recommender systems. Although large language models (LLMs) possess strong semantic understanding and generation capabilities, systematic research has not yet been conducted on how to generate hard negative samples effectively. To fill this gap, this paper introduces the concept of Semantic Negative Sampling and exploreshow to optimize LLMs for high-quality, hard negative sampling. Specifically, we design an experimental pipeline that includes three main modules, profile generation, semantic negative sampling, and semantic alignment, to verify the potential of LLM-driven hard negative sampling in enhancing the accuracy of collaborative filtering (CF). Experimental results indicate that hard negative samples generated based on LLMs, when semantically aligned and integrated into CF, can significantly improve CF performance, although there is still a certain gap compared to traditional negative sampling methods. Further analysis reveals that this gap primarily arises from two major challenges: noisy samples and lack of behavioral constraints. To address these challenges, we propose a framework called HNLMRec, based on fine-tuning LLMs supervised by collaborative signals. Experimental results show that this framework outperforms traditional negative sampling and other LLM-driven recommendation methods across multiple datasets, providing new solutions for empowering traditional RS with LLMs. Additionally, we validate the excellent generalization ability of the LLM-based semantic negative sampling method on new datasets, demonstrating its potential in alleviating issues such as data sparsity, popularity bias, and the problem of false hard negative samples. Our implementation code is available at https://github.com/user683/HNLMRec.
• Abstract（参考訳）: 厳密な負のサンプルは、モデル収束を加速し、決定境界を最適化する。 大規模言語モデル (LLM) は強力な意味理解と生成能力を有するが、体系的な研究はまだ行われていない。 このギャップを埋めるために、セマンティック負サンプリングの概念を導入し、高品質でハードな負サンプリングのためにLCMを最適化する方法を探る。 具体的には, 3つの主要モジュール, プロファイル生成, 意味的負サンプリング, 意味的アライメントを含む実験パイプラインを設計し, 協調フィルタリング(CF)の精度を高める上で, LLM駆動型ハードネガティブサンプリングの可能性を検証する。 実験結果から,LLMをベースとした硬質負試料は,CFにセマンティックに整合して統合するとCF性能が著しく向上することが示された。 さらなる分析によると、このギャップは主にノイズのあるサンプルと行動制約の欠如という2つの大きな課題から生じる。 これらの課題に対処するために,協調信号によって制御される微調整LDMに基づくHNLMRecというフレームワークを提案する。 実験により、このフレームワークは複数のデータセットにわたる従来のネガティブサンプリングや他のLLM駆動のレコメンデーション手法よりも優れており、従来のRSをLLMで強化するための新しいソリューションを提供することが示された。 さらに, LLMに基づくセマンティック・ネガティブ・サンプリング手法の新たなデータセットに対する優れた一般化能力を検証するとともに, データの分散性, 人気バイアス, 偽ハード・ネガティブ・サンプルの問題を緩和する可能性を示した。 私たちの実装コードはhttps://github.com/user683/HNLMRec.orgで公開されています。

関連論文リスト

• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• SyNeg: LLM-Driven Synthetic Hard-Negatives for Dense Retrieval [45.971786380884126]
  Dense Search (DR) の性能は, 陰性サンプリングの品質に大きく影響される。 大規模言語モデル(LLM)の最近の進歩は、文脈的にリッチで多様な負のサンプルを生成することで革新的なソリューションを提供する。 本研究では,LLMを用いて高品質な硬質負のサンプルを合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:49:00Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は、人間の命令を理解し、コードを生成するのに優れた性能を示した。 我々は,ITERTLという,シンプルながら効果的な反復訓練パラダイムを導入する。 提案手法によってトレーニングされたモデルは、最先端のオープンソースモデル(SOTA)と競合し、さらに優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data [15.088675135566646]
  大規模言語モデル(LLM)は、様々な推論タスクでうまく機能しているが、それらのアクセシビリティと多くのパラメータは、実際に広範囲の応用を妨げる。 正の試料以外の負の試料でLLMを蒸留するモデル特殊化フレームワークを提案する。 我々は, LLMの蒸留における負データの役割を示すために, 算術的推論タスクにまたがる広範な実験を行った。
  論文  参考訳（メタデータ） (2023-12-20T08:28:36Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Dimension Independent Mixup for Hard Negative Sample in Collaborative Filtering [36.26865960551565]
  否定的なサンプリングは、暗黙のフィードバックでCFベースのモデルをトレーニングする上で重要な役割を果たす。 そこで本研究では,CFモデルトレーニングのためのエリアワイドサンプリング法であるDINS(Dimension Independent Mixup for Hard Negative Smpling)を提案する。 我々の研究は、新しい視点に寄与し、エリアワイドサンプリングを導入し、DINSをネガティブサンプリングのための新しいアプローチとして提示する。
  論文  参考訳（メタデータ） (2023-06-28T04:03:31Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。