論文の概要: Speculative Probing: LLM Monitoring at Speculative-Decoding Cost
- arxiv url: http://arxiv.org/abs/2608.28099v1
- Date: Fri, 28 Aug 2026 09:07:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.260909
- Title: Speculative Probing: LLM Monitoring at Speculative-Decoding Cost
- Title（参考訳）: 投機的推論:投機的復号コストでのLLMモニタリング
- Abstract要約: 言語モデル推論中のリアルタイム分類は、安全フィルタリング、行動分析、モデル監視に有用である。
現在のアプローチでは、正確性と効率性のトレードオフが強まります。
最近のLSMにおける投機的復号化モジュールは、効率的な高品質な分類のために再利用することができる。
- 参考スコア（独自算出の注目度）: 8.480625921580154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time classification during language model inference is valuable for safety filtering, behavioral analysis, and model monitoring, but current approaches force a trade-off between accuracy and efficiency. Hidden-state probes are fast but limited: they are either not context-aware: operating on a single vector and cannot model interactions across positions; or they are very costly: having dedicated classifier models (Llama Guard, Qwen Guard, LLM-as-judge) or performing computation on hidden states for all tokens and then pooling the results (MultiMax). This shows an intrinsic trade-off between efficiency and accuracy. However, we find that the speculative-decoding module in recent LLMs can be repurposed for efficient high-quality classification. By appending a trained soft prompt at the end of the target sequence, we can repurpose the speculative-decoding module into a sequence classifier. At inference time in a speculative-decoding pipeline, the KV cache is already in GPU memory, so classification adds negligible overhead. We evaluate on four classification tasks across four models (Qwen3.5-4B, 9B, 27B, MiniCPM4.1-8B). Our small probes consistently outperform zero-shot GPT-5.4-mini and, on multilingual prompt safety, match or beat specialized 8B safety classifiers (Qwen3Guard-Gen-8B, Llama-Guard-3-8B) without running a full LLM.
- Abstract（参考訳）: 言語モデル推論中のリアルタイム分類は、安全フィルタリング、行動分析、モデル監視に有用であるが、現在のアプローチでは精度と効率のトレードオフを迫られている。
隠れ状態のプローブは高速だが制限されている: コンテキスト対応ではない: 1つのベクトル上で動作し、位置間の相互作用をモデル化できない; あるいは非常にコストがかかる: 専用分類器モデル(Llama Guard, Qwen Guard, LLM-as-judge)を持つか、またはすべてのトークンに対して隠れ状態の計算を実行し、結果をプールする(MultiMax)。
これは、効率と正確性の間に固有のトレードオフを示す。
しかし、近年のLCMにおける投機的復号化モジュールは、効率的な高品質な分類のために再利用可能であることが判明した。
ターゲットシーケンスの最後に訓練されたソフトプロンプトを付加することにより、投機的復号化モジュールをシーケンス分類器に再利用することができる。
投機的デコードパイプラインでの推論時に、KVキャッシュはすでにGPUメモリにあるため、分類には無視可能なオーバーヘッドが加わる。
4つのモデル(Qwen3.5-4B, 9B, 27B, MiniCPM4.1-8B)の分類課題について検討した。
我々の小さなプローブはゼロショット GPT-5.4-mini を一貫して上回り、マルチリンガルの即時安全では、完全な LLM を実行せずに、特別な 8B の安全分類器 (Qwen3Guard-Gen-8B, Llama-Guard-3-8B) にマッチまたは打ち勝つ。
関連論文リスト
- GLiGuard: Schema-Conditioned Classification for LLM Safeguard [5.918280835312565]
LLMコンテンツのモデレーションにGLiNER2を応用した双方向エンコーダである textbfGLiGuard を導入する。
キーとなるアイデアは、タスク定義とラベルのセマンティクスを直接、構造化トークンスキーマとして入力シーケンスにエンコードすることだ。
GLiGuardは、23-90$times$小さながら、7B--27Bデコーダベースのガードと競合するF1スコアを達成した。
論文 参考訳（メタデータ） (2026-05-08T16:44:07Z) - Learned or Memorized ? Quantifying Memorization Advantage in Code LLMs [12.31163751026309]
4つのタスクファミリーにまたがる19のベンチマークで8つのオープンソースコードLLMを評価した。
感度パターンはモデルやタスクによって大きく異なる。
これらのデータセットでは、モデルは直接記憶よりも学習された一般化に依存する可能性がある。
論文 参考訳（メタデータ） (2026-04-15T15:43:10Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - Evaluating Large Language Models for Gait Classification Using Text-Encoded Kinematic Waveforms [1.1635287453977645]
LLM(Large Language Models)は、構造化キネマティックデータに適用した場合、説明機能と信頼性に配慮した出力を提供する。
本研究は,テキスト数値列で表される連続歩行運動学を汎用LLMで分類できるかどうかを検証した。
論文 参考訳（メタデータ） (2026-03-04T10:23:35Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - A BERTology View of LLM Orchestrations: Token- and Layer-Selective Probes for Efficient Single-Pass Classification [2.0069888187253615]
生産LLMシステムは、安全と他の分類の重いステップのために、しばしば別々のモデルに依存している。
代わりに、私たちはLLMによって既に支払われた計算を再利用し、隠れた状態の軽量プローブを訓練し、生成に使用する同じ前方パスでラベルを予測する。
論文 参考訳（メタデータ） (2026-01-19T18:40:29Z) - Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。
動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。
我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
論文 参考訳（メタデータ） (2025-09-30T13:32:59Z) - GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。
提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
論文 参考訳（メタデータ） (2025-08-11T06:22:25Z) - Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。
非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-03-18T09:04:37Z) - Do LLMs Understand the Safety of Their Inputs? Training-Free Moderation via Latent Prototypes [1.0779346838250028]
ラテントプロトタイプモデレータ (LPM) は、ラテント空間におけるマハラノビス距離を用いて入力安全性を評価する訓練のないモデレーション手法である。
LPMは、複数の安全ベンチマークで最先端のガードモデルと一致または超えている。
論文 参考訳（メタデータ） (2025-02-22T10:31:50Z) - A Little Confidence Goes a Long Way [3.6371715211657243]
大規模言語モデル(LLM)における隠れ状態アクティベーションのプローブを用いたバイナリ分類タスクの関連手法のグループを紹介する。
性能は、現在利用可能な最大かつ最も先進的なLCMと同等であるが、桁違いに少ない計算資源が必要であり、ラベル付きデータを必要としない。
論文 参考訳（メタデータ） (2024-08-20T23:36:00Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。