論文の概要: PLMM: Personal Large Language Models on Mobile Devices

• arxiv url: http://arxiv.org/abs/2309.14726v2
• Date: Sun, 5 May 2024 02:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:55:03.367180
• Title: PLMM: Personal Large Language Models on Mobile Devices
• Title（参考訳）: PLMM:モバイルデバイス上の個人用大規模言語モデル
• Authors: Yuanhao Gong,
• Abstract要約: 私たちは、大きな言語モデルを、個人レベル、専門家レベル、伝統的なレベルという3つのレベルに分類します。 提案した個人用大規模モデルは、言語や視覚タスクなど幅広い応用に適用できる。
• 参考スコア（独自算出の注目度）: 3.156444853783626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by Federated Learning, in this paper, we propose personal large models that are distilled from traditional large language models but more adaptive to local users' personal information such as education background and hobbies. We classify the large language models into three levels: the personal level, expert level and traditional level. The personal level models are adaptive to users' personal information. They encrypt the users' input and protect their privacy. The expert level models focus on merging specific knowledge such as finance, IT and art. The traditional models focus on the universal knowledge discovery and upgrading the expert models. In such classifications, the personal models directly interact with the user. For the whole system, the personal models have users' (encrypted) personal information. Moreover, such models must be small enough to be performed on personal computers or mobile devices. Finally, they also have to response in real-time for better user experience and produce high quality results. The proposed personal large models can be applied in a wide range of applications such as language and vision tasks.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)にインスパイアされた本論文では,従来の大規模言語モデルから抽出された個人用大規模モデルを提案する。 私たちは、大きな言語モデルを、個人レベル、専門家レベル、伝統的なレベルという3つのレベルに分類します。 個人レベルのモデルは、ユーザの個人情報に適応する。 ユーザの入力を暗号化し、プライバシを保護する。 エキスパートレベルのモデルでは、金融、IT、アートといった特定の知識を統合することに重点を置いています。 従来のモデルは、普遍的な知識発見とエキスパートモデルのアップグレードに重点を置いている。 このような分類では、個人モデルはユーザーと直接対話する。 システム全体では、パーソナルモデルはユーザの(暗号化された)個人情報を持っている。 さらに、そのようなモデルはパーソナルコンピュータやモバイルデバイスで実行するのに十分な大きさでなければならない。 最後に、より優れたユーザエクスペリエンスと高品質な結果を得るためには、リアルタイムに応答する必要がある。 提案した個人用大規模モデルは、言語や視覚タスクなど幅広い応用に適用できる。

関連論文リスト

• Unsupervised Human Preference Learning [7.959043497459107]
  大きな言語モデルは印象的な推論能力を示しているが、パーソナライズされたコンテンツを提供するのに苦労している。 文脈内学習やパラメータ効率のよい微調整といった既存の手法は、人間の嗜好の複雑さを捉えるには不十分である。 そこで本研究では,より大規模で事前学習されたモデルを示す自然言語規則を生成するために,小パラメータモデルを選好エージェントとして活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T17:51:01Z)
• PEFT-U: Parameter-Efficient Fine-Tuning for User Personalization [9.594958534074074]
  ユーザパーソナライズのためのNLPモデルの構築と評価のための新しいデータセットであるPEFT-Uベンチマークを紹介する。 多様なユーザ中心タスクのコンテキストにおいて、LLMを効率よくパーソナライズし、ユーザ固有の嗜好に適合させるという課題について検討する。
  論文  参考訳（メタデータ） (2024-07-25T14:36:18Z)
• Prompt-Time Ontology-Driven Symbolic Knowledge Capture with Large Language Models [0.0]
  本稿では,ナレッジグラフを用いたユーザプロンプトからの個人情報の取得について検討する。 我々は、個人情報をモデル化するKNOWオントロジーのサブセットを使用して、これらの概念に基づいて言語モデルを訓練する。 そして、特別に構築されたデータセットを用いて、知識捕捉の成功を評価する。
  論文  参考訳（メタデータ） (2024-05-22T21:40:34Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond [87.1712108247199]
  我々の目標は、マルチモーダルパーソナライゼーションシステム(UniMP)のための統一パラダイムを確立することである。 我々は、幅広いパーソナライズされたニーズに対処できる汎用的でパーソナライズされた生成フレームワークを開発する。 我々の手法は、パーソナライズされたタスクのための基礎言語モデルの能力を高める。
  論文  参考訳（メタデータ） (2024-03-15T20:21:31Z)
• Towards Personalized Evaluation of Large Language Models with An Anonymous Crowd-Sourcing Platform [64.76104135495576]
  大規模言語モデルのための匿名クラウドソーシング評価プラットフォームであるBingJianを提案する。 このプラットフォームを通じて、ユーザーは質問を提出し、パーソナライズされ、潜在的に幅広い機能でモデルをテストできる。
  論文  参考訳（メタデータ） (2024-03-13T07:31:20Z)
• Personalized Language Modeling from Personalized Human Feedback [49.344833339240566]
  人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、人間の好みに合わせて大きな言語モデルを微調整するために一般的に用いられる。 本研究では,パーソナライズされた言語モデルを構築する手法を開発することにより,この問題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-02-06T04:18:58Z)
• When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities [60.5609416496429]
  大規模言語モデルの能力は劇的に改善されている。 このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。 大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
  論文  参考訳（メタデータ） (2023-07-31T02:48:56Z)
• Learnware: Small Models Do Big [69.88234743773113]
  自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。 この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
  論文  参考訳（メタデータ） (2022-10-07T15:55:52Z)
• Opportunistic Federated Learning: An Exploration of Egocentric Collaboration for Pervasive Computing Applications [20.61034787249924]
  我々は、異なるユーザに属する個々のデバイスが堅牢なモデルを学ぶための新しいアプローチ、機会論的フェデレーションラーニングを定義する。 本稿では,このようなアプローチの実現可能性と限界を考察し,出会い型ペアワイド協調学習を支援する枠組みを策定する。
  論文  参考訳（メタデータ） (2021-03-24T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。