論文の概要: No-Skim: Towards Efficiency Robustness Evaluation on Skimming-based Language Models

• arxiv url: http://arxiv.org/abs/2312.09494v1
• Date: Fri, 15 Dec 2023 02:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 17:25:29.882498
• Title: No-Skim: Towards Efficiency Robustness Evaluation on Skimming-based Language Models
• Title（参考訳）: no-skim:スキミングに基づく言語モデルの効率ロバスト性評価に向けて
• Authors: Shengyao Zhang, Mi Zhang, Xudong Pan, Min Yang
• Abstract要約: 本研究では,スキー用LLMの所有者が加速スキームのロバスト性を理解し,測定するのを支援するため,No-Skimを提案する。 具体的には,文字レベルおよびトークンレベルにおける最小かつ無意味な摂動を探索し,残りのトークン比を十分に増大させる逆入力を生成する。 最悪の場合、No-Skimが発見した摂動はLLMのランニングコストを平均145%以上増加させる。
• 参考スコア（独自算出の注目度）: 27.469321590884903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce the computation cost and the energy consumption in large language models (LLM), skimming-based acceleration dynamically drops unimportant tokens of the input sequence progressively along layers of the LLM while preserving the tokens of semantic importance. However, our work for the first time reveals the acceleration may be vulnerable to Denial-of-Service (DoS) attacks. In this paper, we propose No-Skim, a general framework to help the owners of skimming-based LLM to understand and measure the robustness of their acceleration scheme. Specifically, our framework searches minimal and unnoticeable perturbations at character-level and token-level to generate adversarial inputs that sufficiently increase the remaining token ratio, thus increasing the computation cost and energy consumption. We systematically evaluate the vulnerability of the skimming acceleration in various LLM architectures including BERT and RoBERTa on the GLUE benchmark. In the worst case, the perturbation found by No-Skim substantially increases the running cost of LLM by over 145% on average. Moreover, No-Skim extends the evaluation framework to various scenarios, making the evaluation conductible with different level of knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)における計算コストとエネルギー消費を低減するため、スイミングベースの加速度は、意味的に重要なトークンを保持しつつ、LLMの層に沿って、入力シーケンスの重要でないトークンを徐々に減少させる。 しかし、私たちの研究によると、アクセラレーションはDoS(DoS)攻撃に弱い可能性がある。 本稿では,スキー用LLMの所有者がアクセラレーションスキームのロバスト性を理解し,測定するための一般的なフレームワークであるNo-Skimを提案する。 具体的には,文字レベルおよびトークンレベルの最小かつ無意味な摂動を探索し,残余のトークン比を十分に増大させる逆入力を生成し,計算コストとエネルギー消費を増加させる。 GLUEベンチマークにおいて,BERT や RoBERTa を含む様々な LLM アーキテクチャにおけるスキミングアクセラレーションの脆弱性を系統的に評価した。 最悪の場合、No-Skimが発見した摂動はLLMのランニングコストを平均145%以上増加させる。 さらに、No-Skimは評価フレームワークを様々なシナリオに拡張し、異なるレベルの知識で評価を行う。

関連論文リスト

• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• A Novel Evaluation Framework for Assessing Resilience Against Prompt Injection Attacks in Large Language Models [0.0]
  本研究では,アプリケーションのレジリエンスを定量化する新しいフレームワークを提案する。 このフレームワークには、代表性、解釈可能性、堅牢性を保証するために設計された革新的な技術が含まれている。 その結果, 新しいモデルであるLlama2はChatGLMよりも高いレジリエンスを示した。
  論文  参考訳（メタデータ） (2024-01-02T02:06:48Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)
• DA-LSTM: A Dynamic Drift-Adaptive Learning Framework for Interval Load Forecasting with LSTM Networks [1.3342521220589318]
  ドリフト等級閾値は、ドリフトを識別するための変化検出方法を設計するために定義されるべきである。 本稿では,負荷予測モデルの性能向上を図るための動的ドリフト適応長短期メモリ(DA-LSTM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-15T16:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。