論文の概要: No-Skim: Towards Efficiency Robustness Evaluation on Skimming-based
Language Models
- arxiv url: http://arxiv.org/abs/2312.09494v2
- Date: Mon, 18 Dec 2023 02:50:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 19:02:47.804433
- Title: No-Skim: Towards Efficiency Robustness Evaluation on Skimming-based
Language Models
- Title(参考訳): no-skim:スキミングに基づく言語モデルの効率ロバスト性評価に向けて
- Authors: Shengyao Zhang, Mi Zhang, Xudong Pan, Min Yang
- Abstract要約: 本研究では,スキー用LLMの所有者が加速スキームのロバスト性を理解し,測定するのを支援するため,No-Skimを提案する。
具体的には,文字レベルおよびトークンレベルにおける最小かつ無意味な摂動を探索し,残りのトークン比を十分に増大させる逆入力を生成する。
最悪の場合、No-Skimが発見した摂動はLLMのランニングコストを平均145%以上増加させる。
- 参考スコア(独自算出の注目度): 27.469321590884903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To reduce the computation cost and the energy consumption in large language
models (LLM), skimming-based acceleration dynamically drops unimportant tokens
of the input sequence progressively along layers of the LLM while preserving
the tokens of semantic importance. However, our work for the first time reveals
the acceleration may be vulnerable to Denial-of-Service (DoS) attacks. In this
paper, we propose No-Skim, a general framework to help the owners of
skimming-based LLM to understand and measure the robustness of their
acceleration scheme. Specifically, our framework searches minimal and
unnoticeable perturbations at character-level and token-level to generate
adversarial inputs that sufficiently increase the remaining token ratio, thus
increasing the computation cost and energy consumption. We systematically
evaluate the vulnerability of the skimming acceleration in various LLM
architectures including BERT and RoBERTa on the GLUE benchmark. In the worst
case, the perturbation found by No-Skim substantially increases the running
cost of LLM by over 145% on average. Moreover, No-Skim extends the evaluation
framework to various scenarios, making the evaluation conductible with
different level of knowledge.
- Abstract(参考訳): 大規模言語モデル(LLM)における計算コストとエネルギー消費を低減するため、スイミングベースの加速度は、意味的に重要なトークンを保持しつつ、LLMの層に沿って、入力シーケンスの重要でないトークンを徐々に減少させる。
しかし、私たちの研究によると、アクセラレーションはDoS(DoS)攻撃に弱い可能性がある。
本稿では,スキー用LLMの所有者がアクセラレーションスキームのロバスト性を理解し,測定するための一般的なフレームワークであるNo-Skimを提案する。
具体的には,文字レベルおよびトークンレベルの最小かつ無意味な摂動を探索し,残余のトークン比を十分に増大させる逆入力を生成し,計算コストとエネルギー消費を増加させる。
GLUEベンチマークにおいて,BERT や RoBERTa を含む様々な LLM アーキテクチャにおけるスキミングアクセラレーションの脆弱性を系統的に評価した。
最悪の場合、No-Skimが発見した摂動はLLMのランニングコストを平均145%以上増加させる。
さらに、No-Skimは評価フレームワークを様々なシナリオに拡張し、異なるレベルの知識で評価を行う。
関連論文リスト
- Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳(メタデータ) (2024-04-16T13:22:54Z) - FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。
発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。
本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
論文 参考訳(メタデータ) (2024-04-05T02:35:43Z) - Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。
The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。
実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
論文 参考訳(メタデータ) (2024-03-22T14:20:34Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳(メタデータ) (2024-03-19T07:25:02Z) - KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large
Language Models [55.8717261687206]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。
動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。
5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文 参考訳(メタデータ) (2024-02-23T01:30:39Z) - Privacy-Preserving Distributed Learning for Residential Short-Term Load
Forecasting [11.185176107646956]
電力システムの負荷データは、住宅ユーザの日常のルーチンを不注意に明らかにし、彼らの財産のセキュリティにリスクを及ぼす可能性がある。
我々はマルコフスイッチ方式の分散学習フレームワークを導入し、その収束は厳密な理論的解析によって実証される。
実世界の電力系統負荷データを用いたケーススタディにより,提案アルゴリズムの有効性を検証した。
論文 参考訳(メタデータ) (2024-02-02T16:39:08Z) - A Novel Evaluation Framework for Assessing Resilience Against Prompt Injection Attacks in Large Language Models [0.0]
本研究では,アプリケーションのレジリエンスを定量化する新しいフレームワークを提案する。
このフレームワークには、代表性、解釈可能性、堅牢性を保証するために設計された革新的な技術が含まれている。
その結果, 新しいモデルであるLlama2はChatGLMよりも高いレジリエンスを示した。
論文 参考訳(メタデータ) (2024-01-02T02:06:48Z) - Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
本稿では,Flamesという値アライメントベンチマークを提案する。
一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。
以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
論文 参考訳(メタデータ) (2023-11-12T17:18:21Z) - DA-LSTM: A Dynamic Drift-Adaptive Learning Framework for Interval Load
Forecasting with LSTM Networks [1.3342521220589318]
ドリフト等級閾値は、ドリフトを識別するための変化検出方法を設計するために定義されるべきである。
本稿では,負荷予測モデルの性能向上を図るための動的ドリフト適応長短期メモリ(DA-LSTM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-15T16:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。