Fugu-MT 論文翻訳(概要): Model-based Large Language Model Customization as Service

論文の概要: Model-based Large Language Model Customization as Service

arxiv url: http://arxiv.org/abs/2410.10481v3
Date: Thu, 22 May 2025 12:52:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-23 14:49:20.739233
Title: Model-based Large Language Model Customization as Service
Title（参考訳）: サービスとしてのモデルベース大規模言語モデルのカスタマイズ
Authors: Zhaomin Wu, Jizhou Guo, Junyi Hou, Bingsheng He, Lixin Fan, Qiang Yang,
Abstract要約: OpenAIやGoogleといったプロバイダによる大規模言語モデル(LLM)サービスは、一般的なタスクでは優れているが、ドメイン固有のアプリケーションではパフォーマンスが劣ることが多い。 Llamdexは、LLMのカスタマイズをサービスとして促進する新しいフレームワークで、クライアントはデータではなく、トレーニング済みのドメイン固有モデルをアップロードする。実験によると、Llamdexは、同じプライバシー制約の下で、最先端のプライベートデータ合成メソッドに対して、ドメイン固有の精度を最大26%向上する。
参考スコア（独自算出の注目度）: 34.949731264918846
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prominent Large Language Model (LLM) services from providers like OpenAI and Google excel at general tasks but often underperform on domain-specific applications. Current customization services for these LLMs typically require users to upload data for fine-tuning, posing significant privacy risks. While differentially private (DP) data synthesis presents a potential alternative, its application commonly results in low effectiveness due to the introduction of excessive noise on data for DP. To overcome this, we introduce Llamdex, a novel framework that facilitates LLM customization as a service, where the client uploads pre-trained domain-specific models rather than data. This client-uploaded model, optionally protected by DP with much lower noise, is inserted into the base LLM via connection modules. Significantly, these connecting modules are trained without requiring sensitive domain data, enabling clients to customize LLM services while preserving data privacy. Experiments demonstrate that Llamdex improves domain-specific accuracy by up to 26\% over state-of-the-art private data synthesis methods under identical privacy constraints and, by obviating the need for users to provide domain context within queries, maintains inference efficiency comparable to the original LLM service.
Abstract（参考訳）: OpenAIやGoogleといったプロバイダによるLLM(Prominent Large Language Model)サービスは、一般的なタスクでは優れているが、ドメイン固有のアプリケーションではパフォーマンスが劣ることが多い。これらのLCMの現在のカスタマイズサービスは、ユーザーが微調整のためにデータをアップロードする必要がある。差分的プライベート(DP)データ合成は潜在的な代替手段となるが、その応用は一般的にDPのデータに過度なノイズが生じるため、効果が低くなる。 Llamdexは、クライアントがデータではなく、トレーニング済みのドメイン固有モデルをアップロードするサービスとしてLLMのカスタマイズを容易にする新しいフレームワークである。このクライアントアップロードモデルは、オプションでDPによりより低いノイズで保護され、接続モジュールを介してベースLSMに挿入される。重要なことは、これらの接続モジュールは機密性の高いドメインデータを必要とせずにトレーニングされ、クライアントはデータのプライバシを保ちながらLLMサービスをカスタマイズできる。実験によると、Llamdexは、同じプライバシ制約の下で、最先端のプライベートデータ合成メソッドに対して最大26倍の精度でドメイン固有の精度を向上し、クエリ内でドメインコンテキストを提供する必要性を回避し、元のLLMサービスに匹敵する推論効率を維持する。

関連論文リスト

LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
論文参考訳（メタデータ） (2024-09-27T05:06:43Z)
Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-16T14:28:56Z)
Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
論文参考訳（メタデータ） (2024-05-23T06:14:35Z)
BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文参考訳（メタデータ） (2024-03-27T08:57:21Z)
Dial-insight: Fine-tuning Large Language Models with High-Quality Domain-Specific Data Preventing Capability Collapse [4.98050508891467]
高品質なデータを得るために設計された生産プロンプトを構築するための2段階のアプローチを提案する。この方法は、幅広いタスクを包含し、多種多様な表現を示す多様なプロンプトの生成を含む。生成したラベルデータの整合性を確保するため,コスト効率,多次元品質評価フレームワークを導入する。
論文参考訳（メタデータ） (2024-03-14T08:27:32Z)
A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism [33.330424243007265]
我々は,CypherTalk という,費用対効果と自己適応性を備えた LLM 揺らぎチューニングとリカバリ機構を導入する。水平および垂直の揺動演算子を慎重に設計することにより、SOTAのプライバシー保護型LLMスキームと同等の精度が得られる。また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。
論文参考訳（メタデータ） (2024-03-12T03:30:04Z)
PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-02-20T09:02:55Z)
Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
論文参考訳（メタデータ） (2023-12-29T06:50:38Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。