Fugu-MT 論文翻訳(概要): Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization

論文の概要: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization

arxiv url: http://arxiv.org/abs/2410.15052v2
Date: Tue, 22 Oct 2024 08:22:46 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-23 14:25:27.114115
Title: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization
Title（参考訳）: グラディエント・ベースの離散最適化による大規模言語モデルにおけるグリッチトークンのマイニング
Authors: Zihui Wu, Haichang Gao, Ping Wang, Shudong Zhang, Zhaoxiang Liu, Shiguo Lian,
Abstract要約: 大規模言語モデル(LLM)のGlitchトークンは予測不可能な振る舞いを引き起こし、モデルの信頼性と安全性を損なう。既存の検出方法は、しばしばグリッチトークンの以前の分布を推測するために手動による観察に依存している。 GlitchMinerは、LLMにおける効率的なグリッチトークン検出のために設計された、勾配に基づく離散最適化フレームワークである。
参考スコア（独自算出の注目度）: 5.962706501263955
License:
Abstract: Glitch tokens in Large Language Models (LLMs) can trigger unpredictable behaviors, compromising model reliability and safety. Existing detection methods often rely on manual observation to infer the prior distribution of glitch tokens, which is inefficient and lacks adaptability across diverse model architectures. To address these limitations, we introduce GlitchMiner, a gradient-based discrete optimization framework designed for efficient glitch token detection in LLMs. GlitchMiner leverages an entropy-based loss function to quantify the uncertainty in model predictions and integrates first-order Taylor approximation with a local search strategy to effectively explore the token space. Our evaluation across various mainstream LLM architectures demonstrates that GlitchMiner surpasses existing methods in both detection precision and adaptability. In comparison to the previous state-of-the-art, GlitchMiner achieves an average improvement of 19.07% in precision@1000 for glitch token detection. By enabling efficient detection of glitch tokens, GlitchMiner provides a valuable tool for assessing and mitigating potential vulnerabilities in LLMs, contributing to their overall security.
Abstract（参考訳）: 大規模言語モデル(LLM)のGlitchトークンは予測不可能な振る舞いを引き起こし、モデルの信頼性と安全性を損なう。既存の検出方法は、しばしば、様々なモデルアーキテクチャにおいて非効率で適応性に欠けるグリッチトークンの事前分布を推測するために手動による観察に依存している。これらの制約に対処するために、LLMにおける効率的なグリッチトークン検出のために設計された勾配に基づく離散最適化フレームワークであるGlitchMinerを紹介する。 GlitchMinerはエントロピーに基づく損失関数を利用してモデル予測の不確実性を定量化し、一階テイラー近似と局所探索戦略を統合してトークン空間を効果的に探索する。 GlitchMinerは検出精度と適応性の両方において既存の手法を超越していることを示す。これまでの最先端と比較して、GlitchMinerは、glitchトークン検出の精度@1000で平均19.07%の改善を実現している。 GlitchMinerは、グリッチトークンの効率的な検出を可能にすることで、LLMの潜在的な脆弱性を評価し緩和するための貴重なツールを提供し、全体的なセキュリティに寄与する。

関連論文リスト

CogSteer: Cognition-Inspired Selective Layer Intervention for Efficient Semantic Steering in Large Language Models [22.42235251921268]
本研究では,眼球運動計測法を用いて,層間における大規模言語モデル(LLM)の振る舞いを解釈する。これらの知見に触発され, ステアリング層選択を導入し, 微調整と推論による層間干渉法に適用した。提案手法は, 計算資源の97%, トレーニング時間の60%を効率よく節約しつつ, 毒性スコアの点で優れた結果が得られる。
論文参考訳（メタデータ） (2024-10-23T09:40:15Z)
Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
Functional Homotopy: Smoothing Discrete Optimization via Continuous Parameters for LLM Jailbreak Attacks [24.935016443423233]
本研究では,機能的ホモトピー法と呼ばれる新しい最適化手法を提案する。一連の簡単な最適化問題を構築することにより、確立されたホモトピー法から導かれる原理を用いて、これらの問題を反復的に解決する。この手法を大規模言語モデル(LLM)に対するジェイルブレイク攻撃合成に適用し,既存の手法よりも20%～30%の精度向上を実現した。
論文参考訳（メタデータ） (2024-10-05T17:22:39Z)
GlitchProber: Advancing Effective Detection and Mitigation of Glitch Tokens in Large Language Models [17.633722815221983]
大規模言語モデル(LLM)は、自然言語処理の分野で前例のない成功を収めた。最近の研究では、モデルの語彙空間に異常トークンのクラスを発見し、それらを「グリッチトークン」と名付けた。本研究では,グリッチトークンの理解を深め,その検出と緩和のための手法を提案する。
論文参考訳（メタデータ） (2024-08-09T07:19:53Z)
Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文参考訳（メタデータ） (2024-07-23T15:31:26Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
Efficient LLM Jailbreak via Adaptive Dense-to-sparse Constrained Optimization [46.98249466236357]
大規模言語モデル(LLM)は、有害なコンテンツを生成するジェイルブレイク攻撃の影響を受けやすい。本稿では,新しいトークンレベル攻撃手法であるAdaptive-to-Sparse Constrained Optimization (ADC)を提案する。
論文参考訳（メタデータ） (2024-05-15T06:11:24Z)
An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文参考訳（メタデータ） (2024-03-30T08:42:10Z)
An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文参考訳（メタデータ） (2022-10-27T01:58:10Z)
Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。