論文の概要: NMTSloth: Understanding and Testing Efficiency Degradation of Neural Machine Translation Systems

• arxiv url: http://arxiv.org/abs/2210.03696v1
• Date: Fri, 7 Oct 2022 17:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 12:31:07.459136
• Title: NMTSloth: Understanding and Testing Efficiency Degradation of Neural Machine Translation Systems
• Title（参考訳）: nmtsloth: ニューラルマシン翻訳システムの理解とテスト効率の低下
• Authors: Simin Chen, Cong Liu, Mirazul Haque, Zihe Song, Wei Yang
• Abstract要約: 我々は、最先端のNTTシステムにおいて、潜在的な計算効率の堅牢性を理解し、テストするための最初の試みを行う。 1455の公開アクセス可能なNMTシステムの動作機構と実装を解析することにより,計算効率を著しく低減するために,逆向きに操作できるNMTシステムの基本特性を観察する。 NMTSlothは,文字レベル,トークンレベル,構造レベルでの極小かつ目立たない摂動を探索する勾配誘導手法を開発した。
• 参考スコア（独自算出の注目度）: 11.657632205022102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Machine Translation (NMT) systems have received much recent attention due to their human-level accuracy. While existing works mostly focus on either improving accuracy or testing accuracy robustness, the computation efficiency of NMT systems, which is of paramount importance due to often vast translation demands and real-time requirements, has surprisingly received little attention. In this paper, we make the first attempt to understand and test potential computation efficiency robustness in state-of-the-art NMT systems. By analyzing the working mechanism and implementation of 1455 public-accessible NMT systems, we observe a fundamental property in NMT systems that could be manipulated in an adversarial manner to reduce computation efficiency significantly. Our key motivation is to generate test inputs that could sufficiently delay the generation of EOS such that NMT systems would have to go through enough iterations to satisfy the pre-configured threshold. We present NMTSloth, which develops a gradient-guided technique that searches for a minimal and unnoticeable perturbation at character-level, token-level, and structure-level, which sufficiently delays the appearance of EOS and forces these inputs to reach the naturally-unreachable threshold. To demonstrate the effectiveness of NMTSloth, we conduct a systematic evaluation on three public-available NMT systems: Google T5, AllenAI WMT14, and Helsinki-NLP translators. Experimental results show that NMTSloth can increase NMT systems' response latency and energy consumption by 85% to 3153% and 86% to 3052%, respectively, by perturbing just one character or token in the input sentence. Our case study shows that inputs generated by NMTSloth significantly affect the battery power in real-world mobile devices (i.e., drain more than 30 times battery power than normal inputs).
• Abstract（参考訳）: ニューラル機械翻訳(NMT)システムは人間レベルの精度のために近年注目を集めている。 既存の研究は主に精度向上や正確性検証に重点を置いているが、多くの翻訳要求やリアルタイム要求によって最も重要なnmtシステムの計算効率は驚くほど注目されていない。 本稿では,最先端NMTシステムにおける計算効率の堅牢性を理解し,検証するための最初の試みを行う。 1455の公開アクセス可能なNMTシステムの動作機構と実装を解析することにより,計算効率を著しく低減するために,逆向きに操作できるNMTシステムの基本特性を観察する。 我々の主要な動機は、設定済みのしきい値を満たすのに十分なイテレーションを経なければならないように、EOSの生成を十分に遅らせるテストインプットを生成することです。 NMTSlothは,文字レベル,トークンレベル,構造レベルでの最小かつ無意味な摂動を探索し,EOSの出現を十分に遅らせ,これらの入力を自然な到達しきい値に達するように強制する勾配誘導技術を開発した。 NMTSlothの有効性を示すため,Google T5,AllenAI WMT14,Helsinki-NLPトランスレータの3つの公開NMTシステムに対して,系統的な評価を行った。 実験の結果,NMTSlothは入力文中の1文字またはトークンだけを摂動することにより,NMTシステムの応答遅延とエネルギー消費を85%から3153%,86%から3052%増加させることができることがわかった。 ケーススタディでは,NMTSlothが生成した入力が実世界のモバイルデバイスのバッテリ電力(通常の入力の30倍以上のバッテリ電力を消費する)に大きく影響していることが示されている。

関連論文リスト

• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Time Will Tell: Timing Side Channels via Output Token Count in Large Language Models [7.686540586889241]
  本稿では,大規模言語モデル(LLM)における推論入力に関する機密情報を敵が抽出できる新しいサイドチャネルを示す。 我々は,このサイドチャネルを用いた攻撃を,機械翻訳タスクのターゲット言語を復元し,分類タスクの出力クラスを復元する2つの共通LLMタスクで構築する。 実験の結果,3つの異なるモデルに対して75%以上の精度で,翻訳タスクの出力言語を学習できることが判明した。
  論文  参考訳（メタデータ） (2024-12-19T22:29:58Z)
• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [69.35226485836641]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly [6.685692482347038]
  大規模言語モデル(LLM)は、長い逐次入力の解釈と解析において顕著な能力を示した。 本稿では,長い入力シーケンスを扱う場合,LLMが短くなるという,驚くべき制限を明らかにする。 本稿では,LLMの性能を最大50%向上させるアドホックな手法を提案し,評価する。
  論文  参考訳（メタデータ） (2024-08-03T21:31:34Z)
• Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs [63.29737699997859]
  大規模言語モデル(LLM)は、マルチモーダルな微調整をせずに、マルチモーダルなタスクにおいて印象的なパフォーマンスを示した。 本研究では,画像,ビデオ,音声,テキストの入力に凍結LDMを公開し,内部表現を解析する。
  論文  参考訳（メタデータ） (2024-05-26T21:31:59Z)
• LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders [34.421335513040795]
  大規模デコーダのみの言語モデル(LLM)は、今日のNLPタスクとベンチマークのほとんどで最先端のモデルである。 LLM2Vecは、任意のデコーダのみのLCMを強力なテキストエンコーダに変換する、単純な教師なしアプローチである。
  論文  参考訳（メタデータ） (2024-04-09T02:51:05Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Not All Layers of LLMs Are Necessary During Inference [68.88671495401483]
  いくつかのタスクにおいて、Large Language Modelsはいくつかの中間層での最終的な出力に匹敵する結果が得られることを示す。 本稿では,入力インスタンスの推論処理を適応的に終了するアルゴリズムAdaInferを提案する。
  論文  参考訳（メタデータ） (2024-03-04T16:23:58Z)
• Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning [23.932500424117244]
  In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である 従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。 本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
  論文  参考訳（メタデータ） (2023-11-16T07:03:54Z)
• Remember what you did so you know what to do next [10.526351131118096]
  我々は,初等科学実験のためのテキストゲームシミュレータであるScienceWorldにおいて,シミュレーションロボットが30の目標を達成する計画を立てる。 実験の結果、30種類のアクションに対して、パフォーマンスが広範囲に分散していることが示され、タスクに対する平均化が重大なパフォーマンス上の問題を隠蔽する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T19:29:00Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。