論文の概要: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization

• arxiv url: http://arxiv.org/abs/2410.15052v3
• Date: Thu, 07 Nov 2024 11:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:36:25.222107
• Title: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization
• Title（参考訳）: グラディエント・ベースの離散最適化による大規模言語モデルにおけるグリッチトークンのマイニング
• Authors: Zihui Wu, Haichang Gao, Ping Wang, Shudong Zhang, Zhaoxiang Liu, Shiguo Lian,
• Abstract要約: LLM(Large Language Models)のGlitchトークンは予測不可能な振る舞いを引き起こす可能性がある。 GlitchMinerは、エントロピーを利用してグリッチトークンを効率よく識別し、予測の不確実性を定量化する。
• 参考スコア（独自算出の注目度）: 5.962706501263955
• License:
• Abstract: Glitch tokens in Large Language Models (LLMs) can trigger unpredictable behaviors, threatening model reliability and safety. Existing detection methods often depend on predefined patterns, limiting their adaptability across diverse LLM architectures. We propose GlitchMiner, a gradient-based discrete optimization framework that efficiently identifies glitch tokens by leveraging entropy to quantify prediction uncertainty and a local search strategy for exploring the token space. Experiments across multiple LLM architectures show that GlitchMiner outperforms existing methods in both detection accuracy and adaptability, achieving over 10% average efficiency improvement. GlitchMiner enhances vulnerability assessment in LLMs, contributing to more robust and reliable applications. Code is available at https://github.com/wooozihui/GlitchMiner.
• Abstract（参考訳）: 大規模言語モデル(LLM)のGlitchトークンは予測不可能な振る舞いを引き起こし、モデルの信頼性と安全性を脅かす。 既存の検出手法は事前に定義されたパターンに依存し、様々なLLMアーキテクチャの適応性を制限する。 本稿では,GlitchMinerを提案する。GlitchMinerは,予測の不確実性を定量化するためにエントロピーを活用することで,グリッチトークンを効率よく識別するフレームワークであり,トークン空間を探索するための局所探索戦略である。 複数のLLMアーキテクチャの実験により、GlitchMinerは検出精度と適応性の両方で既存の手法より優れており、平均効率が10%以上向上していることが示された。 GlitchMinerはLLMの脆弱性評価を強化し、より堅牢で信頼性の高いアプリケーションに寄与する。 コードはhttps://github.com/wooozihui/GlitchMiner.comで入手できる。

関連論文リスト

• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficient Semantic Steering in Large Language Models [22.42235251921268]
  本研究では,眼球運動計測法を用いて,層間における大規模言語モデル(LLM)の振る舞いを解釈する。 これらの知見に触発され, ステアリング層選択を導入し, 微調整と推論による層間干渉法に適用した。 提案手法は, 計算資源の97%, トレーニング時間の60%を効率よく節約しつつ, 毒性スコアの点で優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)
• SubZero: Random Subspace Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• GlitchProber: Advancing Effective Detection and Mitigation of Glitch Tokens in Large Language Models [17.633722815221983]
  大規模言語モデル(LLM)は、自然言語処理の分野で前例のない成功を収めた。 最近の研究では、モデルの語彙空間に異常トークンのクラスを発見し、それらを「グリッチトークン」と名付けた。 本研究では,グリッチトークンの理解を深め,その検出と緩和のための手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T07:19:53Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。