論文の概要: Efficiently Deploying LLMs with Controlled Risk

• arxiv url: http://arxiv.org/abs/2410.02173v1
• Date: Thu, 3 Oct 2024 03:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 08:15:54.230687
• Title: Efficiently Deploying LLMs with Controlled Risk
• Title（参考訳）: リスク制御によるLCMの効率的なデプロイ
• Authors: Michael J. Zellinger, Matt Thomson,
• Abstract要約: モデル内不確実性を利用してクエリをデリゲートする,階層型連鎖とマルチレベルアプテンション(HCMA)を提案する。 我々の枠組みは、効率とリスクの間に新たなトレードオフをもたらす。
• 参考スコア（独自算出の注目度）: 0.9208007322096532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large language models in production requires simultaneous attention to efficiency and risk control. Prior work has shown the possibility to cut costs while maintaining similar accuracy, but has neglected to focus on risk control. By contrast, here we present hierarchical chains with multi-level abstention (HCMA), which use model-intrinsic uncertainty to delegate queries along the LLM intelligence hierarchy, enabling training-free model switching based solely on black-box API calls. Our framework presents novel trade-offs between efficiency and risk. For example, deploying HCMA on MMLU cuts the error rate of Llama3 405B by 30% when the model is allowed to abstain on 20% of the queries. To calibrate HCMA for optimal performance, our approach uses data-efficient logistic regressions (based on a simple nonlinear feature transformation), which require only 50 or 100 labeled examples to achieve excellent calibration error (ECE), cutting ECE by 50% compared to naive Platt scaling. On free-form generation tasks, we find that chain-of-thought is ineffectual for selective prediction, whereas zero-shot prompting drives error to 0% on TruthfulQA at high abstention rates. As LLMs are increasingly deployed across computing environments with different capabilities (such as mobile, laptop, and cloud), our framework paves the way towards maintaining deployment efficiency while putting in place sharp risk controls.
• Abstract（参考訳）: 大規模言語モデルを本番環境に展開するには、効率性とリスク管理に同時に注意する必要がある。 以前の研究は、同様の精度を維持しながらコストを削減する可能性を示しているが、リスク管理に焦点を合わせることは無視されている。 対照的に,マルチレベルアプテンション(HCMA)を持つ階層型連鎖は,モデル固有の不確実性を用いて,LCMインテリジェンス階層に沿ってクエリをデリゲートし,ブラックボックスAPIコールのみに基づくトレーニング不要なモデル切替を可能にする。 我々の枠組みは、効率とリスクの間に新たなトレードオフをもたらす。 例えば、MMLUにHCMAをデプロイすると、モデルがクエリの20%を停止すると、Llama3 405Bのエラー率が30%削減される。 HCMAを最適性能にキャリブレーションするには,50ないし100個のラベル付き例だけでよいデータ効率のロジスティック回帰(単純な非線形特徴変換に基づく)を用いる。 自由形式生成タスクでは、チェーン・オブ・シントは選択予測に不有効であるのに対し、ゼロショットプロンプトは高い禁断率でTrathfulQAにおいてエラーを0%まで駆動する。 LLMは、さまざまな機能(モバイル、ラップトップ、クラウドなど)を持つコンピューティング環境にまたがってデプロイされるようになっているため、当社のフレームワークは、鋭いリスクコントロールを配置しながら、デプロイメント効率を維持するための道を開いたのです。

関連論文リスト

• CE-CoLLM: Efficient and Adaptive Large Language Models Through Cloud-Edge Collaboration [1.6021932740447968]
  大規模言語モデル(LLM)は、エンドユーザに人間のような知性を提供することで、驚くべき成功を収めた。 LLMは高い計算資源を必要としており、様々な性能目標を満たすためにそれらをデプロイすることは困難である。 CE-CoLLMは,エッジのエンドユーザに対して,効率的かつ適応的なLLM推論をサポートする,新しいクラウドエッジコラボレーションフレームワークである。
  論文  参考訳（メタデータ） (2024-11-05T06:00:27Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Speculative Coreset Selection for Task-Specific Fine-tuning [35.15159197063161]
  タスク固有の微調整は、大規模言語モデル(LLM)の展開に不可欠である 本稿では,投機的コアセット選択法であるSTAFFを紹介する。 STAFFは,SOTA法の性能を最大54.3%向上し,選択オーバーヘッドを70.5%低減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T07:42:25Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Risk-Controlling Model Selection via Guided Bayesian Optimization [35.53469358591976]
  他の競合するメトリクスに対して有用でありながら、特定のリスクに対するユーザ指定の制限に固執する構成を見つけます。 提案手法は,指定された関心領域に属する最適構成の集合を同定する。 提案手法は,低誤差率,等式予測,スプリアス相関処理,生成モデルにおける速度と歪みの管理,計算コストの削減など,複数のデシダラタを用いたタスクに対する有効性を示す。
  論文  参考訳（メタデータ） (2023-12-04T07:29:44Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。