論文の概要: PLMM: Personal Large Models on Mobile Devices
- arxiv url: http://arxiv.org/abs/2309.14726v1
- Date: Tue, 26 Sep 2023 07:36:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 14:44:56.558760
- Title: PLMM: Personal Large Models on Mobile Devices
- Title(参考訳): PLMM:モバイルデバイス上の個人用大規模モデル
- Authors: Yuanhao Gong
- Abstract要約: 私たちは、大きな言語モデルを、個人レベル、専門家レベル、伝統的なレベルという3つのレベルに分類します。
提案した個人用大規模モデルは、言語や視覚タスクなど幅広い応用に適用できる。
- 参考スコア(独自算出の注目度): 3.156444853783626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by Federated Learning, in this paper, we propose personal large
models that are distilled from traditional large language models but more
adaptive to local users' personal information such as education background and
hobbies. We classify the large language models into three levels: the personal
level, expert level and traditional level. The personal level models are
adaptive to users' personal information. They encrypt the users' input and
protect their privacy. The expert level models focus on merging specific
knowledge such as finance, IT and art. The traditional models focus on the
universal knowledge discovery and upgrading the expert models. In such
classifications, the personal models directly interact with the user. For the
whole system, the personal models have users' (encrypted) personal information.
Moreover, such models must be small enough to be performed on personal
computers or mobile devices. Finally, they also have to response in real-time
for better user experience and produce high quality results. The proposed
personal large models can be applied in a wide range of applications such as
language and vision tasks.
- Abstract(参考訳): 本稿では,フェデレーション学習に触発されて,従来の大規模言語モデルから抽出されるが,教育背景や趣味といった地域ユーザの個人情報に適応した個人的大規模モデルを提案する。
大規模な言語モデルは、個人レベル、専門家レベル、伝統的なレベルという3つのレベルに分類します。
個人レベルのモデルは、ユーザの個人情報に適応する。
ユーザの入力を暗号化し、プライバシを保護する。
エキスパートレベルモデルは財務、it、芸術といった特定の知識を融合することに焦点を当てている。
伝統的なモデルは、普遍的な知識発見とエキスパートモデルのアップグレードに焦点を当てている。
このような分類では、個人モデルはユーザーと直接対話する。
システム全体では、パーソナルモデルはユーザの(暗号化された)個人情報を持っている。
さらに、そのようなモデルはパーソナルコンピュータやモバイルデバイスで実行できるほど小さくなければならない。
最後に、より優れたユーザエクスペリエンスと高品質な結果を得るために、リアルタイムに応答する必要がある。
提案した個人用大規模モデルは、言語や視覚タスクといった幅広い応用に適用できる。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond [87.1712108247199]
我々の目標は、マルチモーダルパーソナライゼーションシステム(UniMP)のための統一パラダイムを確立することである。
我々は、幅広いパーソナライズされたニーズに対処できる汎用的でパーソナライズされた生成フレームワークを開発する。
我々の手法は、パーソナライズされたタスクのための基礎言語モデルの能力を高める。
論文 参考訳(メタデータ) (2024-03-15T20:21:31Z) - Towards Personalized Evaluation of Large Language Models with An
Anonymous Crowd-Sourcing Platform [64.76104135495576]
大規模言語モデルのための匿名クラウドソーシング評価プラットフォームであるBingJianを提案する。
このプラットフォームを通じて、ユーザーは質問を提出し、パーソナライズされ、潜在的に幅広い機能でモデルをテストできる。
論文 参考訳(メタデータ) (2024-03-13T07:31:20Z) - Personalized Language Modeling from Personalized Human Feedback [55.458647587228185]
個人化された人間のフィードバックから学習するタスクを紹介し、この文脈でバニラRLHFが問題となる理由を説明する。
本稿では,ユーザモデルと言語(あるいは報酬)モデルを共同で学習する必要がある一般パーソナライズ-RLHFフレームワークを提案する。
提案手法の有効性を実証するために,注釈付き好みと注釈付き情報を用いた実世界のテキスト要約データを用いて検証を行った。
論文 参考訳(メタデータ) (2024-02-06T04:18:58Z) - When Large Language Models Meet Personalization: Perspectives of
Challenges and Opportunities [60.5609416496429]
大規模言語モデルの能力は劇的に改善されている。
このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。
大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
論文 参考訳(メタデータ) (2023-07-31T02:48:56Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳(メタデータ) (2022-10-07T15:55:52Z) - Opportunistic Federated Learning: An Exploration of Egocentric
Collaboration for Pervasive Computing Applications [20.61034787249924]
我々は、異なるユーザに属する個々のデバイスが堅牢なモデルを学ぶための新しいアプローチ、機会論的フェデレーションラーニングを定義する。
本稿では,このようなアプローチの実現可能性と限界を考察し,出会い型ペアワイド協調学習を支援する枠組みを策定する。
論文 参考訳(メタデータ) (2021-03-24T15:30:21Z) - Survey of Personalization Techniques for Federated Learning [0.08594140167290096]
フェデレートされた機械学習は、プライバシを損なうことなく、プライベートな分散データから機械学習モデルを学習することを可能にする。
本稿では、パーソナライズの必要性を強調し、このトピックに関する最近の研究について調査する。
論文 参考訳(メタデータ) (2020-03-19T10:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。