論文の概要: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization

• arxiv url: http://arxiv.org/abs/2410.15052v2
• Date: Tue, 22 Oct 2024 08:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:27.114115
• Title: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization
• Title（参考訳）: グラディエント・ベースの離散最適化による大規模言語モデルにおけるグリッチトークンのマイニング
• Authors: Zihui Wu, Haichang Gao, Ping Wang, Shudong Zhang, Zhaoxiang Liu, Shiguo Lian,
• Abstract要約: 大規模言語モデル(LLM)のGlitchトークンは予測不可能な振る舞いを引き起こし、モデルの信頼性と安全性を損なう。 既存の検出方法は、しばしばグリッチトークンの以前の分布を推測するために手動による観察に依存している。 GlitchMinerは、LLMにおける効率的なグリッチトークン検出のために設計された、勾配に基づく離散最適化フレームワークである。
• 参考スコア（独自算出の注目度）: 5.962706501263955
• License:
• Abstract: Glitch tokens in Large Language Models (LLMs) can trigger unpredictable behaviors, compromising model reliability and safety. Existing detection methods often rely on manual observation to infer the prior distribution of glitch tokens, which is inefficient and lacks adaptability across diverse model architectures. To address these limitations, we introduce GlitchMiner, a gradient-based discrete optimization framework designed for efficient glitch token detection in LLMs. GlitchMiner leverages an entropy-based loss function to quantify the uncertainty in model predictions and integrates first-order Taylor approximation with a local search strategy to effectively explore the token space. Our evaluation across various mainstream LLM architectures demonstrates that GlitchMiner surpasses existing methods in both detection precision and adaptability. In comparison to the previous state-of-the-art, GlitchMiner achieves an average improvement of 19.07% in precision@1000 for glitch token detection. By enabling efficient detection of glitch tokens, GlitchMiner provides a valuable tool for assessing and mitigating potential vulnerabilities in LLMs, contributing to their overall security.
• Abstract（参考訳）: 大規模言語モデル(LLM)のGlitchトークンは予測不可能な振る舞いを引き起こし、モデルの信頼性と安全性を損なう。 既存の検出方法は、しばしば、様々なモデルアーキテクチャにおいて非効率で適応性に欠けるグリッチトークンの事前分布を推測するために手動による観察に依存している。 これらの制約に対処するために、LLMにおける効率的なグリッチトークン検出のために設計された勾配に基づく離散最適化フレームワークであるGlitchMinerを紹介する。 GlitchMinerはエントロピーに基づく損失関数を利用してモデル予測の不確実性を定量化し、一階テイラー近似と局所探索戦略を統合してトークン空間を効果的に探索する。 GlitchMinerは検出精度と適応性の両方において既存の手法を超越していることを示す。 これまでの最先端と比較して、GlitchMinerは、glitchトークン検出の精度@1000で平均19.07%の改善を実現している。 GlitchMinerは、グリッチトークンの効率的な検出を可能にすることで、LLMの潜在的な脆弱性を評価し緩和するための貴重なツールを提供し、全体的なセキュリティに寄与する。

関連論文リスト

• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficient Semantic Steering in Large Language Models [22.42235251921268]
  本研究では,眼球運動計測法を用いて,層間における大規模言語モデル(LLM)の振る舞いを解釈する。 これらの知見に触発され, ステアリング層選択を導入し, 微調整と推論による層間干渉法に適用した。 提案手法は, 計算資源の97%, トレーニング時間の60%を効率よく節約しつつ, 毒性スコアの点で優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)
• SubZero: Random Subspace Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• GlitchProber: Advancing Effective Detection and Mitigation of Glitch Tokens in Large Language Models [17.633722815221983]
  大規模言語モデル(LLM)は、自然言語処理の分野で前例のない成功を収めた。 最近の研究では、モデルの語彙空間に異常トークンのクラスを発見し、それらを「グリッチトークン」と名付けた。 本研究では,グリッチトークンの理解を深め,その検出と緩和のための手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T07:19:53Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。