論文の概要: ComMer: a Framework for Compressing and Merging User Data for Personalization

• arxiv url: http://arxiv.org/abs/2501.03276v1
• Date: Sun, 05 Jan 2025 09:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:51:03.491755
• Title: ComMer: a Framework for Compressing and Merging User Data for Personalization
• Title（参考訳）: ComMer: パーソナライズのためのユーザデータの圧縮とマージのためのフレームワーク
• Authors: Yoel Zeldes, Amir Zait, Ilia Labzovsky, Danny Karmon, Efrat Farkash,
• Abstract要約: 大きな言語モデル(LLM)は、幅広いタスクで優れていますが、特にパーソナライズされたアプリケーションのために、新しいデータにそれらを適用することは、大きな課題を引き起こします。 既存の方法は、プロンプトを通じてモデルに新しいデータを公開することに依存しており、これは文脈のサイズと推論時に計算コストに制限される。 本稿では,ComMer - Compress and Mergeを紹介し, ユーザの文書をコンパクトな表現に圧縮することで, LLMを効率よくパーソナライズする新しいフレームワークについて紹介する。
• 参考スコア（独自算出の注目度）: 0.23301643766310368
• License:
• Abstract: Large Language Models (LLMs) excel at a wide range of tasks, but adapting them to new data, particularly for personalized applications, poses significant challenges due to resource and computational constraints. Existing methods either rely on exposing fresh data to the model through the prompt, which is limited by context size and computationally expensive at inference time, or fine-tuning, which incurs substantial training and update costs. In this paper, we introduce ComMer - Compress and Merge - a novel framework that efficiently personalizes LLMs by compressing users' documents into compact representations, which are then merged and fed into a frozen LLM. We evaluate ComMer on two types of personalization tasks - personalized skill learning, using the tweet paraphrasing dataset and the personalized news headline generation dataset from the LaMP benchmark, and knowledge-intensive, using the PerLTQA dataset. Our experiments demonstrate that in constrained inference budget scenarios ComMer achieves superior quality in skill learning tasks, while highlighting limitations in knowledge-intensive settings due to the loss of detailed information. These results offer insights into trade-offs and potential optimizations in multi-document compression for personalization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は幅広いタスクで優れていますが、特にパーソナライズされたアプリケーションのために新しいデータに適応することで、リソースや計算上の制約によって大きな課題を生じさせます。 既存の方法は、プロンプトを通じてモデルに新しいデータを公開することに依存しており、これは文脈のサイズと推論時に計算コストに制限される。 本稿では,ComMer - Compress and Mergeを紹介し, ユーザの文書をコンパクトな表現に圧縮することで, LLMを効率よくパーソナライズする新しいフレームワークについて紹介する。 我々は、パーソナライズタスクとして、パーソナライズされたスキル学習、LaMPベンチマークからのツイートパラフレーズデータセットとパーソナライズされたニュース見出し生成データセット、PerLTQAデータセットを用いた知識集約の2つのタイプについて、ComMerを評価した。 提案実験は,制約付き推論予算シナリオにおいて,ComMerは,知識集約的な設定において,詳細な情報不足による制約を強調しつつ,スキル学習タスクにおいて優れた品質を実現することを示した。 これらの結果は、個人化のためのマルチドキュメント圧縮におけるトレードオフと潜在的な最適化に関する洞察を与える。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Retrieval-Augmented Personalization for Multimodal Large Language Models [53.304699445700926]
  本稿では,MLLMのパーソナライズのためのRAP(Retrieval Augmented Personalization)フレームワークを紹介する。 RAPは、外部データベースを更新することで、リアルタイムの概念編集を可能にする。 RAP-MLLMは、追加の微調整なしで無限の視覚概念に一般化することができる。
  論文  参考訳（メタデータ） (2024-10-17T09:10:26Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Rethinking the Instruction Quality: LIFT is What You Need [20.829372251475476]
  既存の品質改善手法は、データセットの拡張やキュレーションを通じて命令データを変更する。 本稿では,命令品質を新たな高さに高めるために設計された新しい多目的パラダイムであるLIFT(LLM Instruction Fusion Transfer)を提案する。 実験結果から, LLMは, パラダイムによって選択された高品質な命令データが少ない場合でも, 各種タスクにおける頑健な性能を一貫して維持することを示した。
  論文  参考訳（メタデータ） (2023-12-12T03:30:21Z)
• Utilising a Large Language Model to Annotate Subject Metadata: A Case Study in an Australian National Research Data Catalogue [18.325675189960833]
  オープンで再現可能な研究をサポートするために、研究のために利用可能なデータセットが急速に増えている。 データセットの可用性が向上するにつれて、それらの発見と再利用のための品質メタデータを持つことがより重要になる。 本稿では,LLMに基づくインコンテキスト学習を通じて,大規模言語モデル(LLM)を用いて,主題メタデータのコスト効率のよいアノテーションを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:52:33Z)
• TF-DCon: Leveraging Large Language Models (LLMs) to Empower Training-Free Dataset Condensation for Content-Based Recommendation [28.567219434790875]
  コンテンツベースのレコメンデーション(CBR)のモダンなテクニックは、アイテムコンテンツ情報を活用して、ユーザにパーソナライズされたサービスを提供するが、大規模なデータセットでのリソース集約的なトレーニングに苦しむ。 そこで我々は,大規模なデータセットで訓練されたデータセットに匹敵する性能をモデルが達成できるような,小さいが情報に富むデータセットを合成するために,データセット凝縮を提案する。 データセットのサイズを95%削減しながら、元のパフォーマンスの97%を近似することができます(すなわち、データセットMIND上で)。
  論文  参考訳（メタデータ） (2023-10-15T16:15:07Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。