Fugu-MT 論文翻訳(概要): Adaptive Self-Supervised Learning Strategies for Dynamic On-Device LLM Personalization

論文の概要: Adaptive Self-Supervised Learning Strategies for Dynamic On-Device LLM Personalization

arxiv url: http://arxiv.org/abs/2409.16973v1
Date: Wed, 25 Sep 2024 14:35:06 GMT
ステータス: 処理完了
システム内更新日: 2024-09-27 03:25:18.511325
Title: Adaptive Self-Supervised Learning Strategies for Dynamic On-Device LLM Personalization
Title（参考訳）: 動的オンデバイスLDMパーソナライズのための適応型自己監督学習戦略
Authors: Rafael Mendoza, Isabella Cruz, Richard Liu, Aarav Deshmukh, David Williams, Jesscia Peng, Rohan Iyer,
Abstract要約: 大規模言語モデル(LLM)は私たちがテクノロジと対話する方法に革命をもたらしたが、個々のユーザの好みに対するパーソナライズは依然として大きな課題である。本稿では,LSMを動的にパーソナライズするために自己指導型学習技術を利用する適応型自己監督学習戦略(ASLS)を提案する。
参考スコア（独自算出の注目度）: 3.1944843830667766
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have revolutionized how we interact with technology, but their personalization to individual user preferences remains a significant challenge, particularly in on-device applications. Traditional methods often depend heavily on labeled datasets and can be resource-intensive. To address these issues, we present Adaptive Self-Supervised Learning Strategies (ASLS), which utilizes self-supervised learning techniques to personalize LLMs dynamically. The framework comprises a user profiling layer for collecting interaction data and a neural adaptation layer for real-time model fine-tuning. This innovative approach enables continuous learning from user feedback, allowing the model to generate responses that align closely with user-specific contexts. The adaptive mechanisms of ASLS minimize computational demands and enhance personalization efficiency. Experimental results across various user scenarios illustrate the superior performance of ASLS in boosting user engagement and satisfaction, highlighting its potential to redefine LLMs as highly responsive and context-aware systems on-device.
Abstract（参考訳）: 大規模言語モデル(LLM)は、私たちがテクノロジと対話する方法に革命をもたらしたが、個々のユーザの好みに対するパーソナライズは、特にオンデバイスアプリケーションにおいて重要な課題である。従来のメソッドはラベル付きデータセットに大きく依存することが多く、リソース集約化が可能である。これらの課題に対処するために,自己指導型学習技術を用いてLSMを動的にパーソナライズする適応型自己監督学習戦略(ASLS)を提案する。インタラクションデータを収集するユーザプロファイリング層と、リアルタイムモデル微調整のためのニューラル適応層とを備える。この革新的なアプローチは、ユーザからのフィードバックから継続的学習を可能にし、モデルがユーザ固有のコンテキストと密接に一致した応答を生成することを可能にする。 ASLSの適応メカニズムは、計算要求を最小限に抑え、パーソナライズ効率を向上させる。様々なユーザシナリオにわたる実験結果は、ユーザエンゲージメントと満足度を高めるためのASLSの優れたパフォーマンスを示し、LDMをデバイス上での高応答性とコンテキスト認識システムとして再定義する可能性を強調している。

関連論文リスト

eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
大言語モデル(LLMs)は人工知能(AI)の転換期を告げる本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
論文参考訳（メタデータ） (2024-11-24T22:50:02Z)
LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
論文参考訳（メタデータ） (2024-11-14T13:00:23Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文参考訳（メタデータ） (2024-08-07T04:20:28Z)
SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning [30.25610464801255]
大規模言語モデル(LLM)は、データ規則や倫理的AIプラクティスに従うための効果的な非学習メカニズムの必要性を強調している。 LLMアンラーニングの研究への関心は高まりつつあるが、LLMアンラーニングの選択の影響は未解明のままである。我々はLLMアンラーニングにおける選択の重要性を初めて明らかにし、二階最適化と影響アンラーニングの明確な関連性を確立した。
論文参考訳（メタデータ） (2024-04-28T16:31:32Z)
Context-Aware Orchestration of Energy-Efficient Gossip Learning Schemes [8.382766344930157]
本稿では,Gossip Learningと学習プロセスの適応最適化を組み合わせた分散学習手法を提案する。本稿では,ノードごとのリアルタイムな最適化に依存するデータ駆動型OGL管理手法を提案する。その結果,提案手法は幅広いネットワークシナリオにおいて極めて効率的かつ効果的であることが示唆された。
論文参考訳（メタデータ） (2024-04-18T09:17:46Z)
Reimagining Self-Adaptation in the Age of Large Language Models [0.9999629695552195]
本稿では、ジェネレーティブAI(GenAI)を用いて、アーキテクチャ適応の有効性と効率を高めるためのビジョンを提案する。そこで我々は,Large Language Models (LLMs) が文脈依存適応戦略を自律的に生成できることを提案する。我々の研究結果は、GenAIがソフトウェアシステムの動的適応性とレジリエンスを改善する大きな可能性を持っていることを示唆している。
論文参考訳（メタデータ） (2024-04-15T15:30:12Z)
Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文参考訳（メタデータ） (2023-11-21T02:01:01Z)
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
学びアクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。能動学習問題の対称性と独立性を利用した新しい分類法を提案する。私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文参考訳（メタデータ） (2023-09-11T14:16:37Z)
Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文参考訳（メタデータ） (2023-06-16T13:04:56Z)
Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文参考訳（メタデータ） (2021-05-03T07:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。