論文の概要: Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.15921v1
• Date: Sun, 11 Oct 2026 21:04:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:18:55.967896
• Title: Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning
• Title（参考訳）: 高速かつ高精度:RAGとファインチューニング間のセマンティック集中型ワークロード分割によるパーソナライズLDM性能の向上
• Abstract要約: 我々は,PEFTとRAGの作業負荷を分割するために,ユーザの個人的履歴データのセマンティックな集中度を利用した,高速かつ正確な手法であるPEFT Union RAG(PUR)を提案する。 実験の結果、PURは複数のタスクにまたがる様々なユーザに対して常に最高の生成精度/品質を実現し、最も優れた手法と比較して推論遅延を14.4%-46.6%削減した。
• 参考スコア（独自算出の注目度）: 13.829989507831526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With ever increasing personalized large language model (LLM) services, the next question to answer is how to improve the quality of services/users' experiences, which is indicated by personalized LLM generation accuracy/quality and inference latency. Although state-of-the-art designs, e.g., parameter-efficient fine-tuning (PEFT), retrieval-augmented generation (RAG) or Full PEFT+RAG, can help, they largely ignore the heterogeneous semantic concentrations of users' historical data and cannot fully unleash the potential of personal data for personalized LLM performance enhancement. In this paper, we propose PEFT Union RAG (PUR), a novel ``fast and accurate'' approach that exploits the semantic concentration of users' personal historical data to split workload between PEFT and RAG, aiming to improve personalized LLM performance in terms of better generation accuracy/quality and lower inference latency. Briefly, PUR partitions user's personal historical data and assigns semantic concentrated ``core'' information to PEFT for offline parametric fine-tuning, while retaining dispersed information for RAG. During the online LLM inference, PUR directly generates responses for ``core'' queries covered by the PEFT region and invokes RAG only for sporadic ``peripheral'' queries. Experimental results show that, by appropriately splitting workload between PEFT and RAG, PUR consistently achieves the best generation accuracy/quality for various users across multiple tasks, while reducing inference latency by 14.4%--46.6% compared with the best performed method.
• Abstract（参考訳）: パーソナライズされた大規模言語モデル(LLM)サービスが増え続ける中で、次の疑問はサービス/ユーザエクスペリエンスの質を改善する方法だ。 最新の技術設計、例えば、パラメータ効率の微調整(PEFT)、検索強化生成(RAG)、フルPEFT+RAGは、ユーザーの歴史的データの異質な意味集中を無視し、パーソナライズされたLLMパフォーマンス向上のための個人データの可能性を完全に解き放つことができない。 本稿では,PEFT と RAG 間の作業負荷を分割するために,ユーザの個人的履歴データのセマンティックな集中度を利用した新しい「高速かつ正確な」アプローチであるPEFT Union RAG (PUR) を提案する。 簡単に言えば、PURはユーザの個人的履歴データを分割し、RAGの分散情報を保持しながら、オフラインパラメトリックの微調整のためにPEFTに「core」情報を含むセマンティックな「core」情報を割り当てる。 オンラインLLM推論において、PURはPEFT領域でカバーされている ``core'' クエリに対する応答を直接生成し、スパラディック ``peripheral'' クエリのみにRAGを起動する。 実験の結果,PEFT と RAG のワークロードを適切に分割することにより,PUR は複数のタスクにまたがる様々なユーザに対して,最適な生成精度/品質を実現し,推論遅延を14.4%～46.6%削減できることがわかった。

関連論文リスト

• Maximizing mutual information between user-contexts and responses improve LLM personalization with no additional data [12.193946608981276]
  本稿では、適切なプロンプトに対して正の応答条件を発生させ、ランダムな無関係なプロンプトに対して負の応答を発生させることにより、選好ペアを構成するコントラッシブデータ拡張手法を提案する。 このペアデータから直接選好最適化(DPO)を用いることで、プロンプトとモデル応答間のポイントワイド条件付き相互情報(MI)を最大化することを示す。 驚いたことに、MIPOは数学と多重選択問題のパフォーマンス向上にも応用できる。
  論文  参考訳（メタデータ） (2026-03-10T21:00:05Z)
• Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR [23.417956258945427]
  本稿では,学習中の情報的質問文の優先順位付けに精度推定を利用するポストトレーニングフレームワークを提案する。 PACED-RL は LLM のより効率的な分布マッチング訓練のための有望な方向である。
  論文  参考訳（メタデータ） (2026-02-13T06:04:14Z)
• Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization [27.490675380289318]
  関連性はユーティリティの信頼性の低いプロキシとして機能する、と私たちは主張する。 Llm pErsonalization のために UseR Profiles をoPtimizeする文脈的帯域幅フレームワーク PURPLE を提案する。 PURPLEは、最も関連性の高いレコードの欲求選択とは対照的に、プロファイル構築をセット生成プロセスとして扱う。
  論文  参考訳（メタデータ） (2026-01-17T15:05:36Z)
• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Efficient Deployment of Large Language Models on Resource-constrained Devices [12.644230479753476]
  様々な下流タスクのために、リソース制約されたデバイス上でLLM(Large Language Models)を微調整する必要がある。 FedSpineは、PEFT(Efficient Fine-Tuning)と構造化プルーニングを組み合わせたフレームワークで、リソース制約のあるデバイスにLLMを効率的にデプロイする。 我々はFedSpineが1.4Times$$$timesで微調整を高速化し、最終的な精度を他のベースラインと比べて同じ間隔で0.4%-4.5%向上できることを示した。
  論文  参考訳（メタデータ） (2025-01-05T04:38:11Z)
• Comparing Retrieval-Augmentation and Parameter-Efficient Fine-Tuning for Privacy-Preserving Personalization of Large Language Models [21.115495457454365]
  本稿では,パラメータ効率細調整(PEFT)によるユーザ依存LLMパラメータの学習に関わるRAGへのアプローチについて検討する。 その結果,RAG法とPEFT法を併用したパーソナライズ法では,非パーソナライズLCMよりも14.92%,1.07%改善した。
  論文  参考訳（メタデータ） (2024-09-14T19:18:26Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。