論文の概要: Same Probe, Different Numbers: Are Activation Probes Robust to Inference-Time Numerical Non-Determinism?

• arxiv url: http://arxiv.org/abs/2609.31796v1
• Date: Fri, 25 Sep 2026 07:14:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 12:40:18.830167
• Title: Same Probe, Different Numbers: Are Activation Probes Robust to Inference-Time Numerical Non-Determinism?
• Title（参考訳）: 同じ、異なる数: アクティベーションプローブは推論時間非決定性にロバストか?
• Abstract要約: アクティベーションプローブは、デプロイ中のLSMを監視するために、ますます使われています。 一般的なGPUカーネルはバッチ不変ではなく、浮動小数点のフォーマットが異なるため、デプロイメントで見られるアクティベーションは、プローブがトレーニングしたものではありません。 Llama-3.1-8B, Qwen3-8B, Gemma-3-4Bのバッチサイズ4, 8, 16およびfloat32, bfloat16およびfloat16のコストを測定した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation probes are increasingly used to monitor LLMs in deployment. A probe is typically trained under one inference configuration, then used under whatever batch size and numerical precision the serving stack uses. Because common GPU kernels are not batch-invariant and floating-point formats round differently, the activations seen at deployment are not the ones the probe was trained on. We measure what that costs for Llama-3.1-8B, Qwen3-8B and Gemma-3-4B across batch sizes 4, 8 and 16 and float32, bfloat16 and float16, training 768 probes on one configuration, evaluating each on every other, and comparing verdicts example by example. Probes are stable, but aggregate accuracy is the wrong instrument for showing it: it understates how many verdicts change by a factor of two to nine. At the prompt, accuracy never moves by more than 0.47 percentage points across 1,392 transfers and only 0.076% of verdicts change; under float32 with only the batch size varied, none of 201,960 verdicts change. During decoding the flip rate rises to 2.8%, but rows whose realised tokens matched flip in only 0.12-0.15% of cases, while rows whose tokens diverged flip in 12.9%: the cause is the text, not the arithmetic. A bfloat16 batch-size change flips the first generated token for 2.1% of rows and leaves 25% on different tokens by token 20. Flips are symmetric, Cohen's kappa stays above 0.94, and AUROC moves by at most 0.05 points. Underneath, activations move about as much as the format's rounding: a bfloat16 batch-size change perturbs them by a median relative L2 of 1e-2, roughly 8x the float16 figure. Probes absorb this; the model's own next-token argmax does not. Robustness evaluations of activation monitors should report per-example agreement rather than aggregate accuracy, separate representational noise from input change, and state the serving configuration.
• Abstract（参考訳）: アクティベーションプローブは、デプロイ中のLSMを監視するために、ますます使われています。 プローブは通常、1つの推論構成の下でトレーニングされ、次に、サービススタックが使用するバッチサイズと数値精度で使用される。 一般的なGPUカーネルはバッチ不変ではなく、浮動小数点のフォーマットが異なるため、デプロイメントで見られるアクティベーションは、プローブがトレーニングしたものではありません。 Llama-3.1-8B, Qwen3-8B, Gemma-3-4Bのバッチサイズ4, 8, 16およびfloat32, bfloat16およびfloat16のコストを測定し, 1つの構成で768プローブをトレーニングし, それぞれを評価し, 例えば, 検証例を比較した。 プローブは安定しているが、集合的正確性は、それを示すための間違った手段である。 プロンプトでは、精度は1,392回の転送で0.47ポイント以上上昇せず、予測の0.076%しか変化せず、バッチサイズのみのfloat32では、201,960の予測は変化しない。 デコード中、フリップレートは2.8%まで上昇するが、実際のトークンが一致した行は0.12-0.15%のケースでフリップに一致し、トークンが分岐した行は12.9%でフリップする:原因は算術ではなくテキストである。 bfloat16のバッチサイズ変更は、最初の生成されたトークンを2.1%の行で反転させ、トークン20によって25%を異なるトークンに残す。 フリップは対称であり、コーエンのカッパは0.94以上であり、AUROCは0.05ポイント以上動く。 bfloat16のバッチサイズの変更は、float16の約8倍の1e-2の相対的なL2を摂動させる。 プローブはそれを吸収するが、モデル自身の次のトーケン argmax は吸収しない。 アクティベーションモニタのロバスト性評価は、集約精度よりも、グループごとの合意を報告し、入力から表現ノイズを分離し、サービス構成を記述すべきである。

関連論文リスト

• Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
  大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:54:16Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference [0.10152838128195468]
  同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。 チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネルのみを交換する。 1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。
  論文  参考訳（メタデータ） (2026-08-13T20:34:36Z)
• Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
  ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。 これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
  論文  参考訳（メタデータ） (2026-08-12T23:27:20Z)
• Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson [35.18016233072556]
  NVIDIA Jetson Orin Nano Super (8GB) で完全に動作する2次元SO-101システムを提案する。 我々は、NVMMバッファによってバックアップされたGStreamerキャプチャパイプラインを構築し、3つのカメラセンシングから冗長なホストデバイスコピーを取り除く。 我々は、ACTと拡散政策を同一のデモンストレーションで訓練し、それぞれが独自の基準予算で実施する。
  論文  参考訳（メタデータ） (2026-08-04T17:09:41Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• MarginGate: Sparse Margin-Triggered Verification for Batch-Invariant LLM Inference [7.261960634383562]
  MarginGateはLlama-3.1-8BとQwen2.5-14Bの100%のシーケンスレベルの決定論的デコーディングを18.56%/15.05%で復元する。 我々は、フリップトークンにのみ検証を適用することができるかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-28T16:50:19Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。