論文の概要: A Framework for Cost-Effective and Self-Adaptive LLM Shaking and
Recovery Mechanism
- arxiv url: http://arxiv.org/abs/2403.07283v1
- Date: Tue, 12 Mar 2024 03:30:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:04:04.613153
- Title: A Framework for Cost-Effective and Self-Adaptive LLM Shaking and
Recovery Mechanism
- Title(参考訳): コスト効率と自己適応型llm揺動・リカバリ機構の枠組み
- Authors: Zhiyu Chen, Yu Li, Suochao Zhang, Jingbo Zhou, Jiwen Zhou, Chenfu Bao,
Dianhai Yu
- Abstract要約: 我々は,CypherTalk という,費用対効果と自己適応性を備えた LLM 揺らぎチューニングとリカバリ機構を導入する。
水平および垂直の揺動演算子を慎重に設計することにより、SOTAのプライバシー保護型LLMスキームと同等の精度が得られる。
また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。
- 参考スコア(独自算出の注目度): 33.330424243007265
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As Large Language Models (LLMs) gain great success in real-world
applications, an increasing number of users are seeking to develop and deploy
their customized LLMs through cloud services. Nonetheless, in some specific
domains, there are still concerns regarding cost and trade-offs between privacy
issues and accuracy. In this study, we introduce a cost-effective and
self-adaptive LLM shaking tuning and recovery mechanism, named CypherTalk. With
carefully designed horizontal and vertical shaking operators, we can achieve
comparable accuracy results with SOTA privacy-preserving LLM schemes using
Cryptography-based or Differential Privacy-based methods. Experiments also show
that with the CypherTalk framework, users can achieve reliable accuracy when
using optimized shaking operator settings. To our best knowledge, this is the
first work that considers cost, and trade-off between model utility and privacy
in LLM scenarios.
- Abstract(参考訳): 大きな言語モデル(LLM)が現実世界のアプリケーションで大きな成功を収めるにつれて、クラウドサービスを通じてカスタマイズされたLLMを開発し、デプロイするユーザが増えています。
それでも、特定のドメインでは、プライバシの問題と正確性の間のコストとトレードオフに関する懸念がある。
本研究では,CypherTalk という,費用対効果の高い自己適応型LDM揺らぎ調整機構を提案する。
水平および垂直の揺動演算子を慎重に設計することにより,SOTAのプライバシ保存型LLMスキームと同等の精度が得られる。
また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。
私たちの知る限りでは、LLMシナリオにおけるモデルユーティリティとプライバシの間のコストとトレードオフを考慮に入れた最初の作業です。
関連論文リスト
- LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots [17.255594126279874]
大型言語モデル (LLM) はロボット工学の応用に大きな可能性を示している。
これらのモデルの個々のユーザの好みに対するパーソナライズには、重要なギャップが残っている。
LLMプランナを家庭用ロボティクス向けにパーソナライズするための最適化パイプラインを備えた新しいフレームワークであるLLM-Personalizeを紹介した。
論文 参考訳(メタデータ) (2024-04-22T15:35:33Z) - SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。
高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。
SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
論文 参考訳(メタデータ) (2024-03-11T17:45:47Z) - Calibrating Large Language Models Using Their Generations Only [44.26441565763495]
APRICOT は、信頼目標を設定し、テキスト入力と出力のみに基づいて LLM の信頼度を予測する追加モデルを訓練する手法である。
概念的には単純で、出力以上のターゲットモデルへのアクセスを必要とせず、言語生成に干渉せず、多くの潜在的な使用法を持っている。
閉書質問応答における白箱と黒箱のLCMの校正誤差を考慮し,誤ったLCMの解答を検出する方法として,本手法の競合性を示す。
論文 参考訳(メタデータ) (2024-03-09T17:46:24Z) - Aligners: Decoupling LLMs and Alignment [49.8019652005368]
大きな言語モデル(LLM)は、ほとんどのアプリケーションで安全性と実用性を確保するために、人間の期待に沿う必要がある。
そこで本稿では,LLM とアライメントを,任意の基準をアライメントするためのアライメントモデルのトレーニングによって分離することを提案する。
論文 参考訳(メタデータ) (2024-03-07T04:54:56Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。
最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。
そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
論文 参考訳(メタデータ) (2024-02-13T23:25:04Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳(メタデータ) (2024-02-03T09:48:54Z) - Towards Optimizing the Costs of LLM Usage [4.032848774697859]
理論的にも経験的にも、品質とコストを両立させる最適化問題について検討する。
トークンを品質に配慮した方法で低減するためのいくつかの決定論的手法を提案する。
本手法は,品質を4%から7%向上させながら,コストを40%から90%削減する。
論文 参考訳(メタデータ) (2024-01-29T16:36:31Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Scaling Down to Scale Up: A Cost-Benefit Analysis of Replacing OpenAI's LLM with Open Source SLMs in Production [3.41402911469979]
多くの企業は、OpenAIのGPT-4のようなサービスとして提供される大きな言語モデル(LLM)を使用して、AI対応製品エクスペリエンスを作成している。
同時に、オープンソースのスモールランゲージモデル(SLM)が市販されている。
本稿では,現代のオープンソースSLMの体系的評価手法と特徴について述べる。
論文 参考訳(メタデータ) (2023-12-20T19:27:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。