論文の概要: Do LLMs Memorize Recommendation Datasets? A Preliminary Study on MovieLens-1M

• arxiv url: http://arxiv.org/abs/2505.10212v1
• Date: Thu, 15 May 2025 12:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.305631
• Title: Do LLMs Memorize Recommendation Datasets? A Preliminary Study on MovieLens-1M
• Title（参考訳）: LLMはレコメンデーションデータセットを記憶しているか? : MovieLens-1Mの予備的検討
• Authors: Dario Di Palma, Felice Antonio Merra, Maurizio Sfilio, Vito Walter Anelli, Fedelucio Narducci, Tommaso Di Noia,
• Abstract要約: 本稿では,Large Language Models (LLM) がパブリックレコメンデーションデータセットを記憶しているかどうかを検討する。 推奨システムにおいて最も広く使われているデータセットのひとつにMovieLens-1Mがある。 以上の結果から,MovieLens-1Mの記憶度は,全てのモデルである程度の記憶度を示し,レコメンデーション性能が記憶度に関係していることが判明した。
• 参考スコア（独自算出の注目度）: 11.937783019409865
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have become increasingly central to recommendation scenarios due to their remarkable natural language understanding and generation capabilities. Although significant research has explored the use of LLMs for various recommendation tasks, little effort has been dedicated to verifying whether they have memorized public recommendation dataset as part of their training data. This is undesirable because memorization reduces the generalizability of research findings, as benchmarking on memorized datasets does not guarantee generalization to unseen datasets. Furthermore, memorization can amplify biases, for example, some popular items may be recommended more frequently than others. In this work, we investigate whether LLMs have memorized public recommendation datasets. Specifically, we examine two model families (GPT and Llama) across multiple sizes, focusing on one of the most widely used dataset in recommender systems: MovieLens-1M. First, we define dataset memorization as the extent to which item attributes, user profiles, and user-item interactions can be retrieved by prompting the LLMs. Second, we analyze the impact of memorization on recommendation performance. Lastly, we examine whether memorization varies across model families and model sizes. Our results reveal that all models exhibit some degree of memorization of MovieLens-1M, and that recommendation performance is related to the extent of memorization. We have made all the code publicly available at: https://github.com/sisinflab/LLM-MemoryInspector
• Abstract（参考訳）: 大きな言語モデル(LLM)は、目覚ましい自然言語理解と生成能力のために、推奨シナリオの中心となってきています。 様々なレコメンデーションタスクにLLMを使うことについて重要な研究がなされているが、トレーニングデータの一部としてパブリックレコメンデーションデータセットを記憶したかどうかを検証する努力はほとんど行われていない。 記憶されたデータセットのベンチマークは、目に見えないデータセットへの一般化を保証しないため、記憶化は研究結果の一般化性を低下させるため、これは望ましくない。 さらに、記憶化はバイアスを増幅することができる。例えば、人気のあるアイテムは、他のアイテムよりも頻繁に推奨されることがある。 本研究では,LLMがパブリックレコメンデーションデータセットを記憶しているかどうかを検討する。 具体的には,複数のサイズにまたがるモデルファミリ(GPTとLlama)について検討し,推奨システムにおいて最も広く使われているデータセットの一つであるMovieLens-1Mに着目した。 まず、データセットの記憶化を、LCMのプロンプトによって、アイテム属性、ユーザプロファイル、ユーザとイテムのインタラクションを検索できる範囲として定義する。 第2に,記憶がレコメンデーションパフォーマンスに与える影響を分析する。 最後に,記憶度がモデルファミリやモデルサイズによって異なるかを検討する。 以上の結果から,MovieLens-1Mの記憶度は,全てのモデルである程度の記憶度を示し,レコメンデーション性能が記憶度に関係していることが判明した。 https://github.com/sisinflab/LLM-MemoryInspector

関連論文リスト

• Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models [52.439289085318634]
  情報誘導プローブを用いて,プロプライエタリな大規模言語モデル (LLM) で知られているトレーニングデータを識別する方法を示す。 我々の研究は、重要な観察の上に成り立っている: 高次数テキストパスは、暗記プローブにとって良い検索材料である。
  論文  参考訳（メタデータ） (2025-03-15T10:19:15Z)
• Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
  Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。 ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。 本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T15:49:37Z)
• Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 この研究は、トレーニング中に言語モデルがデータセットを見たかどうかを評価するためのさまざまなテクニックを導入している。 次に、トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2024-04-09T10:58:21Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• LLM-based Medical Assistant Personalization with Short- and Long-Term Memory Coordination [20.269899169364397]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。 本稿では,パラメータ効率のよい微細チューニング(PEFT)スキーマを備え,医療アシスタントをパーソナライズするための新しい計算バイオニックメモリ機構を提案する。
  論文  参考訳（メタデータ） (2023-09-21T00:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。