論文の概要: From Bytes to Behavior: Request-Level Attribution from Live GPU Hidden States
- arxiv url: http://arxiv.org/abs/2611.18272v1
- Date: Fri, 13 Nov 2026 15:04:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:14.584865
- Title: From Bytes to Behavior: Request-Level Attribution from Live GPU Hidden States
- Title(参考訳): バイトから振る舞いへ:Live GPU隠れ状態からの要求レベル属性
- Abstract要約: 実時間GPUプロセスから層間残差ストリームアクティベーションを取得する手法を提案する。
我々はこの買収を、9つのアーキテクチャクラスにわたる33のオープンソースデコーダのみのモデルで検証する。
この研究は、名前付き推論プラットフォーム上で、中間的な隠れ状態への生きた観察的なアクセスが実現可能であることを証明している。
- 参考スコア(独自算出の注目度): 0.6157382820537719
- License:
- Abstract: Existing memory forensics for machine learning systems typically targets static artifacts, such as model weights or prompt logs, rather than the transient computational states of a live inference process. This gap limits an examiner's ability to analyze the specific behavior of a running large language model (LLM) service that cannot be restarted or modified. We present a method for acquiring per-layer residual-stream activations from a live GPU process using a non-modifying debugger, without requiring prior knowledge of the model's architecture parameters or weights. The approach employs a general six-stage process with platform-specific adapters, utilizing either a PyTorch allocator clock or a kernel-launch clock to identify and read tensor allocations from video memory. We validate this acquisition on 33 open-source decoder-only models across nine architecture classes, demonstrating that the recovered bytes are byte-exact and usable for downstream analysis. As a use case, we apply linear probes trained on standard framework activations to the recovered states, successfully distinguishing refusal from compliance with an AUROC of 0.88 on held-out prompts. This work establishes that live, observational access to intermediate hidden states is feasible on named inference platforms, providing a new source of evidence for examining the operational behavior of deployed AI systems.
- Abstract(参考訳): 既存の機械学習システムのメモリフォサイクスは、ライブ推論プロセスの過渡的な計算状態ではなく、モデルウェイトやプロンプトログのような静的アーティファクトをターゲットにしている。
このギャップは、再起動や修正ができない実行中の大規模言語モデル(LLM)サービスの特定の振る舞いを分析する検査者の能力を制限する。
モデルアーキテクチャパラメータや重みに関する事前知識を必要とせず、非修正デバッガを用いて、ライブGPUプロセスから層間残ストリームアクティベーションを取得する方法を提案する。
このアプローチでは、プラットフォーム固有のアダプタを備えた一般的な6段階のプロセスを採用し、ビデオメモリからテンソル割り当てを識別および読み取るために、PyTorchアロケータクロックまたはカーネル起動クロックを使用する。
9つのアーキテクチャクラスにまたがる33のオープンソースデコーダのみのモデルでこの買収を検証する。
実例として、標準フレームワークアクティベーションに基づいて訓練された線形プローブを回復状態に適用し、ホールドアウトプロンプトの0.88のAUROC準拠の拒絶を識別することに成功した。
この研究は、名前付き推論プラットフォーム上で、中間的な隠れ状態への生きた観察的なアクセスが実現可能であることを確立し、デプロイされたAIシステムの運用行動を調べるための新たな証拠を提供する。
関連論文リスト
- TranScope: What the Software Hides About LLM Training Data, the Hardware Reveals at Scale, and Accelerators Magnify [0.0]
メンバシップは、マシンラーニングの根本的プライバシプリミティブである。
ブラックボックスモデルに対するハードウェアベースのアウト・オブ・ディストリビューション検出は行われていない。
会員情報を検出するための最初のマイクロアーキテクチャツールであるTranScopeを紹介する。
論文 参考訳(メタデータ) (2026-10-05T17:59:42Z) - Achieving Near-Zero-Overhead Multi-Model Hierarchical Classification in Real-Time Detection Pipelines [0.0]
ターゲット認識、監視、自動運転車、ドローンドメインにおけるエッジデプロイされた視覚システムは、階層的な推論パイプラインを必要とする。
GPU上ですべてのモデルを実行すると、パイプラインが成長するにつれてリアルタイムスループットを制限するシリアルボトルネックが発生する。
ゼロフォールバックDLAバックボーンに対する5段階の手法を提案する。
論文 参考訳(メタデータ) (2026-08-12T08:14:22Z) - MOLOT System Card: Malicious Operational Logic Observation Transformer [39.21925553022995]
MOLOT (Malicious Operational Logic Observation Transformer) は、パッケージメタデータ、メンテナ履歴、動的実行トレースが利用できない、または信頼性の低いSAST設定用に設計された静的な悪意のあるコード検出システムである。
このシステムは、ソースコードを静的なコールグラフから派生した動作シーケンスとして表現し、不審な振る舞いをランク付けし、ソースコードの位置にマップする説明段階を含む。
このアプローチは、PyPIとnpmのPythonおよびJavaScriptパッケージで、オープンソースの検出ツールと比較して評価され、実行時、メモリ使用、実際のモデレーションワークフローで観察された偽陽性率などの製品制約の下で検証される。
論文 参考訳(メタデータ) (2026-06-05T19:10:31Z) - VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents [42.56489784841984]
実装の変更が生成され、エージェントが提案する差分として適用される。
アーキテクチャを説明し、システムの生成と検証に使用するワークフローを要約し、アーティファクトを評価する。
論文 参考訳(メタデータ) (2026-01-21T19:29:00Z) - Elementary, My Dear Watson: Non-Invasive Neural Keyword Spotting in the LibriBrain Dataset [1.497166779417398]
キーワードスポッティング(英: Keywords Spotting, KWS)は、脳とコンピュータのインターフェイスのための、プライバシーに配慮した中間タスクである。
我々は、単語レベルのデータローダとColab対応のチュートリアルを備えたpnplライブラリの更新版をリリースした。
論文 参考訳(メタデータ) (2025-10-23T22:44:50Z) - Clustering is back: Reaching state-of-the-art LiDAR instance segmentation without training [69.2787246878521]
本研究は, セマンティックラベルのみを用いて, 競合するパノプティクスのセグメンテーションを実現できることを示す。
提案手法は,標準ベンチマークにおける最先端の教師付き手法よりも優れている。
完全に説明可能で、学習やパラメータチューニングを必要としない。
論文 参考訳(メタデータ) (2025-03-17T14:12:08Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳(メタデータ) (2021-05-30T22:07:13Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳(メタデータ) (2020-05-22T21:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。