論文の概要: FlashAttention with Statistics: Low-Overhead Attention Features for Compact Hallucination Detectors
- arxiv url: http://arxiv.org/abs/2610.21483v1
- Date: Thu, 15 Oct 2026 08:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.278464
- Title: FlashAttention with Statistics: Low-Overhead Attention Features for Compact Hallucination Detectors
- Title（参考訳）: FlashAttention with Statistics: 小型幻覚検出器のための低オーバーヘッド注意機能
- Abstract要約: コンパクトなフリーズプロキシモデルは、供給されたコンテキストがサポートしていない流動的な回答を検出することができる。
注意に基づく検出器は、プロキシの注意重みの要約統計を使用するが、標準的なパイプラインは注意行列を具体化する。
4Bプロキシ検出器は、3つのベンチマークのうち2つでF1の9つのゼロショット4-9Bの判定結果の中で最も優れています。
- 参考スコア（独自算出の注目度）: 1.4973554048535835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can produce fluent answers that the supplied context does not support. A compact frozen proxy model can detect such answers by reading the context and another model's response, even from a proprietary generator. Attention-based detectors use summary statistics of the proxy's attention weights, but standard pipelines materialize the attention matrix, whose memory grows quadratically with sequence length. We compute these statistics without materializing attention, by accumulation in the FlashAttention pass, sparse lookups after it, or a second tiled pass over the scores, and classify them by this path into nearly free and costlier ones. On an H100, the statistics of five published detectors add 16% to the latency of a Qwen3-8B forward at 2K tokens, falling to 1.4% at 35K, and store 22.5 KiB per response token. On three benchmarks, probes trained on frozen Qwen3 proxies of 0.6B to 8B parameters prove strong detectors: a 4B proxy outperforms the strongest of nine zero-shot 4-9B LLM judges in F1 on two of the three, the proxies match or outperform specialized grounding checkers of up to 7B parameters, probing each proxy beats prompting it as a judge, and adding attention features significantly improves F1 in half of the 12 benchmark-proxy pairs, never significantly lowering it.
- Abstract（参考訳）: 大規模言語モデルでは、供給されたコンテキストがサポートしていないような流動的な回答を生成できる。
コンパクトなフリーズプロキシモデルは、コンテキストを読み、他のモデルの応答をプロプライエタリなジェネレータからでも検出することができる。
注意に基づく検出器は、プロキシの注意重みの要約統計を使用するが、標準的なパイプラインは注意行列を具体化し、そのメモリはシーケンス長の2倍に成長する。
FlashAttentionパスの蓄積、それに続くスパースルックアップ、あるいは第2タイルパスによって、これらの統計データを実体化せずに計算し、このパスによって、ほぼ自由でコストのかかるパスに分類する。
H100では、5つの検出器の統計により、2KトークンでQwen3-8Bの遅延が16%増加し、35Kで1.4%減少し、応答トークンあたり22.5KiBが保存される。
3つのベンチマークでは、0.6Bから8Bパラメータの凍結したQwen3プロキシで訓練されたプローブが強力な検出器を証明している: 4BプロキシはF1の9つのゼロショット4-9B LLMジャッジよりも優れており、プロキシは最大7Bパラメータの特別なグラウンドチェッカーと一致または上回る。
関連論文リスト
- TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。
データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。
我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文 参考訳（メタデータ） (2026-09-13T19:52:46Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification [0.0]
nsfaguardは、エージェントAIシステムを運用上の脅威から保護するためのガードレールフレームワークである。
まず,185種のリスク変異をCIA-Triad-grounded 階層に分類するNSFA分類について紹介する。
凍結したバックボーン上の識別的分類ヘッドと解釈可能なオフライン監査のためのSFTに基づく生成推論を組み合わせたデュアルモードアプローチを開発した。
論文 参考訳（メタデータ） (2026-07-13T07:28:45Z) - Generalist Vision-Language Models for Fast Radio Burst detection: a zero-shot benchmark against a specialized detector [0.0]
我々は、高速無線バースト(FRB)をゼロショット・プロンプトのみの条件下で検出できる小型でオープンウェイトなローカルなビジョン・ランゲージ・モデル(VLM)の有効性を評価する。
Gemma 4 2Bの精度は93.65%であり、SwinYNetと統計的に有意な差はない。
プロンプトのみを書き換えると、3000のスペクトルの完全なセットで3種類のFRB/RFI/ノイズ分類で同じモデルを再構成し、単一の偽のFRBを使わずに最大86%の精度で到達する。
論文 参考訳（メタデータ） (2026-07-08T13:15:29Z) - RIPA: Sensory-Vector Prompt Injection Attacks on LLM-Controlled ROS 2 Robots [0.0]
本稿では,ROS 2 ベースのロボットシステムにおいて,センサパイプラインを経由したインジェクション攻撃のシステマティック・マルチチャネル実験を行った。
単調なスケーリングトレンドに従わないモデル固有の脆弱性プロファイルを特定する。
偽陽性のない既知の注入パターンに対して0%のASRを達成するハイブリッドセマンティックファイアウォールを提案する。
論文 参考訳（メタデータ） (2026-06-26T23:31:59Z) - Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models [6.396911723204044]
Mixture-of-experts (MoE)言語モデルは、高密度モデルよりも優れた品質と効率のトレードオフをもたらすことがしばしば期待されている。
そこで本研究では,高密度および高密度なMoE設計にまたがる7つの推論指向命令調整モデルのベンチマークを示す。
論文 参考訳（メタデータ） (2026-04-08T12:50:52Z) - Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。
エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
論文 参考訳（メタデータ） (2026-02-11T07:53:51Z) - vAttention: Verified Sparse Attention [100.98210818821688]
vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。
vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。
モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
論文 参考訳（メタデータ） (2025-10-07T08:46:08Z) - MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
強い推論能力は、はるかに少ないデータで実現可能であることを示す。
MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
論文 参考訳（メタデータ） (2025-09-29T15:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。