論文の概要: AnomaLLMy -- Detecting anomalous tokens in black-box LLMs through low-confidence single-token predictions

• arxiv url: http://arxiv.org/abs/2406.19840v1
• Date: Fri, 28 Jun 2024 11:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 17:00:05.724567
• Title: AnomaLLMy -- Detecting anomalous tokens in black-box LLMs through low-confidence single-token predictions
• Title（参考訳）: AnomaLLMy -- 低信頼単一トークン予測によるブラックボックスLDMの異常トークンの検出
• Authors: Waligóra Witold,
• Abstract要約: AnomaLLMyはブラックボックス大言語モデルにおける異常トークンの自動検出のための新しい技術である。 AnomaLLMyはモデル動作の不規則を識別し、モデルの品質と信頼性を低下させる異常トークンの問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces AnomaLLMy, a novel technique for the automatic detection of anomalous tokens in black-box Large Language Models (LLMs) with API-only access. Utilizing low-confidence single-token predictions as a cost-effective indicator, AnomaLLMy identifies irregularities in model behavior, addressing the issue of anomalous tokens degrading the quality and reliability of models. Validated on the cl100k_base dataset, the token set of GPT-4, AnomaLLMy detected 413 major and 65 minor anomalies, demonstrating the method's efficiency with just \$24.39 spent in API credits. The insights from this research are expected to be beneficial for enhancing the robustness of and accuracy of LLMs, particularly in the development and assessment of tokenizers.
• Abstract（参考訳）: 本稿では,APIのみアクセス可能なブラックボックス大規模言語モデル(LLM)における異常トークンの自動検出手法であるAnomaLLMyを紹介する。 低信頼の単一トークン予測をコスト効果指標として、AnomaLLMyはモデル動作の不規則性を識別し、モデルの品質と信頼性を低下させる異常トークンの問題に対処する。 cl100k_baseデータセットで検証されたGPT-4のトークンセットであるAnomaLLMyは、413のメジャーと65のマイナーな異常を検出し、APIクレジットに24.39ドルをかけただけでメソッドの効率を実証した。 本研究から得られた知見は, LLMの堅牢性と精度の向上, 特にトークン化剤の開発・評価に有用であることが期待される。

関連論文リスト

• Zero-Shot Detection of LLM-Generated Text using Token Cohesiveness [6.229124658686219]
  我々は,既存のゼロショット検出器を改善するために,トークン凝集性をプラグアンドプレイモジュールとして利用する汎用的なデュアルチャネル検出パラダイムを開発した。 トークンの凝集度を計算するために,ランダムなトークンの削除と意味的差分測定を数ラウンドで行う。 各種データセット,ソースモデル,評価設定の4つの最先端ベース検出器を用いた実験は,提案手法の有効性と汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-25T13:18:57Z)
• GlitchProber: Advancing Effective Detection and Mitigation of Glitch Tokens in Large Language Models [17.633722815221983]
  大規模言語モデル(LLM)は、自然言語処理の分野で前例のない成功を収めた。 最近の研究では、モデルの語彙空間に異常トークンのクラスを発見し、それらを「グリッチトークン」と名付けた。 本研究では,グリッチトークンの理解を深め,その検出と緩和のための手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T07:19:53Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Feature Selection with Annealing for Forecasting Financial Time Series [2.44755919161855]
  本研究では,機械学習(ML)モデルを用いた戦術的入力出力特徴マッピング技術に基づいて,財務時系列を総合的に予測する手法を提案する。 実験の結果,FSAアルゴリズムは問題の種類に関わらず,MLモデルの性能を向上することが示された。
  論文  参考訳（メタデータ） (2023-03-03T21:33:38Z)
• Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition [68.68300358332156]
  雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。 Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。 5つの包括的なデータセットで平均F1スコアが3.01向上する。
  論文  参考訳（メタデータ） (2022-05-27T20:47:30Z)
• BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition [57.2201011783393]
  条件付き隠れマルコフモデル(CHMM) CHMMは、入力トークンのBERT埋め込みからトークン単位の遷移と放出確率を予測する。 BERTベースのNERモデルを微調整し、ラベルをCHMMで推論する。
  論文  参考訳（メタデータ） (2021-05-26T21:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。