Fugu-MT 論文翻訳(概要): SampleLLM: Optimizing Tabular Data Synthesis in Recommendations

論文の概要: SampleLLM: Optimizing Tabular Data Synthesis in Recommendations

arxiv url: http://arxiv.org/abs/2501.16125v2
Date: Fri, 31 Jan 2025 14:00:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-03 13:57:40.680638
Title: SampleLLM: Optimizing Tabular Data Synthesis in Recommendations
Title（参考訳）: SampleLLM:レコメンデーションにおける語彙データ合成の最適化
Authors: Jingtong Gao, Zhaocheng Du, Xiaopeng Li, Yichao Wang, Xiangyang Li, Huifeng Guo, Ruiming Tang, Xiangyu Zhao,
Abstract要約: タブラルデータ合成は機械学習において重要であるが、既存の一般的な手法は非常にデータに依存しており、レコメンデータシステムでは不足することが多い。この制限は、複雑な分布を捉え、スパースデータと限定データから特徴関係を理解するのが困難であることから生じる。そこで本研究では,LLMに基づくデータ合成の品質向上を目的とした,SampleLLMという2段階のフレームワークを提案する。
参考スコア（独自算出の注目度）: 46.689486044254544
License:
Abstract: Tabular data synthesis is crucial in machine learning, yet existing general methods-primarily based on statistical or deep learning models-are highly data-dependent and often fall short in recommender systems. This limitation arises from their difficulty in capturing complex distributions and understanding feature relationships from sparse and limited data, along with their inability to grasp semantic feature relations. Recently, Large Language Models (LLMs) have shown potential in generating synthetic data samples through few-shot learning and semantic understanding. However, they often suffer from inconsistent distribution and lack of diversity due to their inherent distribution disparity with the target dataset. To address these challenges and enhance tabular data synthesis for recommendation tasks, we propose a novel two-stage framework named SampleLLM to improve the quality of LLM-based tabular data synthesis for recommendations by ensuring better distribution alignment. In the first stage, SampleLLM employs LLMs with Chain-of-Thought prompts and diverse exemplars to generate data that closely aligns with the target dataset distribution, even when input samples are limited. The second stage uses an advanced feature attribution-based importance sampling method to refine feature relationships within the synthesized data, reducing any distribution biases introduced by the LLM. Experimental results on three recommendation datasets, two general datasets, and online deployment illustrate that SampleLLM significantly surpasses existing methods for recommendation tasks and holds promise for a broader range of tabular data scenarios.
Abstract（参考訳）: タブラルデータ合成は機械学習において重要であるが、統計モデルやディープラーニングモデルに基づく既存の一般的な手法は、非常にデータに依存しており、レコメンデーションシステムでは不足することが多い。この制限は、複雑な分布を捉え、スパースデータと限定データから特徴関係を理解することの難しさと、意味的特徴関係を把握できないことに起因する。近年、Large Language Models (LLMs) は、数ショットの学習と意味理解を通じて合成データサンプルを生成する可能性を示している。しかし、それらはしばしば、ターゲットデータセットと固有の分布格差のために、一貫性のない分布と多様性の欠如に悩まされる。これらの課題に対処し、レコメンデーションタスクのための表型データ合成を強化するために、LLMベースの表型データ合成の品質を向上させるためにSampleLLMという新しい2段階のフレームワークを提案する。第一段階では、SampleLLMは、入力サンプルが制限された場合でも、ターゲットデータセットの分布と密に一致したデータを生成するために、Chain-of-Thoughtプロンプトと多様な例を持つLLMを使用している。第2段階では、高度な特徴属性に基づく重要度サンプリング法を用いて、合成データ内の特徴関係を洗練し、LLMが導入した分布バイアスを低減させる。 3つのレコメンデーションデータセット、2つの一般的なデータセット、オンラインデプロイメントに関する実験結果は、SampleLLMが既存のレコメンデーションタスクのメソッドを大幅に上回っており、より広範なタブ形式のデータシナリオを約束していることを示している。

関連論文リスト

Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-10-29T04:14:32Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
論文参考訳（メタデータ） (2024-08-05T23:20:32Z)
FuseGen: PLM Fusion for Data-generation based Zero-shot Learning [18.51772808242954]
FuseGenは、新しいデータ生成ベースのゼロショット学習フレームワークである。合成データセットからのサブセット選択のための新しい基準を導入する。選択されたサブセットは、各PLMに対してコンテキスト内フィードバックを提供し、データセットの品質を向上する。
論文参考訳（メタデータ） (2024-06-18T11:55:05Z)
Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
論文参考訳（メタデータ） (2024-06-18T08:38:59Z)
P-TA: Using Proximal Policy Optimization to Enhance Tabular Data Augmentation via Large Language Models [15.969452637480167]
我々は、GAN(Generative Adversarial Networks)を適用するために、PPO(Maximal Policy Optimization)を提案する。 PPOは、最先端のデータセットに対して合成生成されたデータに基づいてトレーニングされたモデルの精度を約4%向上させる。
論文参考訳（メタデータ） (2024-06-17T10:22:00Z)
Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance [16.047084318753377]
不均衡な分類と急激な相関は、データサイエンスと機械学習における一般的な課題である。近年の進歩は、大規模言語モデルの柔軟性と生成能力を生かして合成サンプルを生成することを提案した。本稿では,不均衡な分類とスプリアス相関に対処する上で,合成試料の役割を体系的に研究する新たな理論基盤を開発する。
論文参考訳（メタデータ） (2024-06-05T21:24:26Z)
Differentially Private Tabular Data Synthesis using Large Language Models [6.6376578496141585]
本稿ではDP-LLMTGenについて紹介する。 DP-LLMTGenは、2段階の微調整手順を用いて、センシティブなデータセットをモデル化する。微調整LDMをサンプリングすることで合成データを生成する。
論文参考訳（メタデータ） (2024-06-03T15:43:57Z)
SYNC: A Copula based Framework for Generating Synthetic Data from Aggregated Sources [8.350531869939351]
ダウンスケーリングと呼ばれる合成データ生成タスクについて検討する。我々はSynC (Synthetic Data Generation via Gaussian Copula) と呼ばれる多段階フレームワークを提案する。私たちはこの仕事に4つの重要な貢献をしています。
論文参考訳（メタデータ） (2020-09-20T16:36:25Z)
Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
論文参考訳（メタデータ） (2020-07-07T04:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。