Fugu-MT 論文翻訳(概要): A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism

論文の概要: A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism

arxiv url: http://arxiv.org/abs/2403.07283v1
Date: Tue, 12 Mar 2024 03:30:04 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 23:04:04.613153
Title: A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism
Title（参考訳）: コスト効率と自己適応型llm揺動・リカバリ機構の枠組み
Authors: Zhiyu Chen, Yu Li, Suochao Zhang, Jingbo Zhou, Jiwen Zhou, Chenfu Bao, Dianhai Yu
Abstract要約: 我々は,CypherTalk という,費用対効果と自己適応性を備えた LLM 揺らぎチューニングとリカバリ機構を導入する。水平および垂直の揺動演算子を慎重に設計することにより、SOTAのプライバシー保護型LLMスキームと同等の精度が得られる。また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。
参考スコア（独自算出の注目度）: 33.330424243007265
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: As Large Language Models (LLMs) gain great success in real-world applications, an increasing number of users are seeking to develop and deploy their customized LLMs through cloud services. Nonetheless, in some specific domains, there are still concerns regarding cost and trade-offs between privacy issues and accuracy. In this study, we introduce a cost-effective and self-adaptive LLM shaking tuning and recovery mechanism, named CypherTalk. With carefully designed horizontal and vertical shaking operators, we can achieve comparable accuracy results with SOTA privacy-preserving LLM schemes using Cryptography-based or Differential Privacy-based methods. Experiments also show that with the CypherTalk framework, users can achieve reliable accuracy when using optimized shaking operator settings. To our best knowledge, this is the first work that considers cost, and trade-off between model utility and privacy in LLM scenarios.
Abstract（参考訳）: 大きな言語モデル(LLM)が現実世界のアプリケーションで大きな成功を収めるにつれて、クラウドサービスを通じてカスタマイズされたLLMを開発し、デプロイするユーザが増えています。それでも、特定のドメインでは、プライバシの問題と正確性の間のコストとトレードオフに関する懸念がある。本研究では,CypherTalk という,費用対効果の高い自己適応型LDM揺らぎ調整機構を提案する。水平および垂直の揺動演算子を慎重に設計することにより,SOTAのプライバシ保存型LLMスキームと同等の精度が得られる。また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。私たちの知る限りでは、LLMシナリオにおけるモデルユーティリティとプライバシの間のコストとトレードオフを考慮に入れた最初の作業です。

関連論文リスト

LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Differentially Private Steering for Large Language Model Alignment [55.30573701583768]
本稿では,大規模言語モデルとプライベートデータセットの整合性に関する最初の研究について述べる。本研究では, LLM underlineAment (PSA) アルゴリズムのためのtextitunderlinePrivate underlineSteeringを提案する。以上の結果から,PSAはLPMアライメントのDP保証を実現し,性能の低下を最小限に抑えることができた。
論文参考訳（メタデータ） (2025-01-30T17:58:36Z)
Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文参考訳（メタデータ） (2025-01-08T11:37:06Z)
A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文参考訳（メタデータ） (2024-10-24T14:31:52Z)
Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models [34.949731264918846]
Llamdexは大規模言語モデル(LLM)を強化するフレームワークで、ドメイン固有のデータに基づいてトレーニングされたモデルのみを使用する。提案手法は,ドメイン固有のタスクの精度を大幅に向上し,最大26%の精度向上を実現する。
論文参考訳（メタデータ） (2024-10-14T13:18:20Z)
Understanding the Performance and Estimating the Cost of LLM Fine-Tuning [9.751868268608675]
コスト効率の良い特定のタスクのための微調整大型言語モデル(LLM)。本稿では,Sparse Mixture of Experts (MoE)をベースとしたLLMファインチューニングを特徴付ける。また,クラウド上でのLCM微調整のコストを推定するための解析モデルを開発し,検証する。
論文参考訳（メタデータ） (2024-08-08T16:26:07Z)
Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
論文参考訳（メタデータ） (2024-05-23T06:14:35Z)
SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
論文参考訳（メタデータ） (2024-03-11T17:45:47Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
Scaling Down to Scale Up: A Cost-Benefit Analysis of Replacing OpenAI's LLM with Open Source SLMs in Production [3.41402911469979]
多くの企業は、OpenAIのGPT-4のようなサービスとして提供される大きな言語モデル(LLM)を使用して、AI対応製品エクスペリエンスを作成している。同時に、オープンソースのスモールランゲージモデル(SLM)が市販されている。本稿では,現代のオープンソースSLMの体系的評価手法と特徴について述べる。
論文参考訳（メタデータ） (2023-12-20T19:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。