論文の概要: xMIx: High-Performance Serving-Time Platform for Mechanistic Interpretability Apps

• arxiv url: http://arxiv.org/abs/2607.22595v1
• Date: Thu, 11 Jun 2026 20:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.129212
• Title: xMIx: High-Performance Serving-Time Platform for Mechanistic Interpretability Apps
• Title（参考訳）: xMIx: メカニスティックな解釈可能性アプリのための高性能サービングタイムプラットフォーム
• Abstract要約: 実運用環境にMIアプリケーションをデプロイするためのフレームワークであるxMIxを紹介します。 xMIxは、前のモデル層の出力に依存するMI関数の条件付き呼び出しをサポートする。 3つの主要なモデルと7つの多様なアプリケーションで評価する。
• 参考スコア（独自算出の注目度）: 4.256091469948205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mechanistic interpretability (MI) has emerged as a powerful approach for analyzing and intervening in inference computations, with a growing number of applications such as jailbreak attempt detection, truthfulness evaluation, and hallucination detection. Unfortunately, MI deployment in production model-serving systems is currently not practical, as most existing MI frameworks introduce prohibitively high runtime overheads. The fundamental problem is that MI functions do not compose cleanly with served models: they fragment deployment, often force draining requests and rebuilding serving state, and conflict with critical performance optimizations such as continuous batching and CUDA-graph execution, essential for production deployments. We present xMIx, a serving-native framework for deploying MI applications in production inference serving environments. xMIx enables attaching MI functions to a predefined set of locations in the model runtime, interposing on activations within the layers and residual streams. xMIx supports conditional invocation of MI functions depending on the outputs in preceding model layers. Multiple MI applications can be deployed in a single model instance. xMIx compiles them all into the serving path but activates them dynamically at runtime only when necessary, with negligible performance cost, and without requiring a separate model instance or alternative execution stack. We integrate xMIx with the vLLM serving system and evaluate it across three major models and seven diverse MI applications. xMIx achieves performance comparable to native vLLM execution, incurring a slowdown of 1.3% mean inter-token latency (ITL), 1.2% for tail P99 ITL, 2.6% for mean time to first token (TTFT), and 1.6% for mean total token throughput (TTT).
• Abstract（参考訳）: 機械的解釈可能性(MI)は、推論計算の分析と介入のための強力なアプローチとして登場し、ジェイルブレイク試行、真性評価、幻覚検出など多くの応用が増加している。 残念なことに、運用モデル提供システムにおけるMIデプロイメントは、現在のほとんどのMIフレームワークは、非常に高いランタイムオーバーヘッドを導入しているため、現時点では実用的ではありません。 基本的な問題は、MI関数がサービスされたモデルできれいに構成されないことだ。それらは、デプロイを断片化し、しばしばドレインリクエストを強制し、サーブステートを再構築し、継続的バッチやCUDAグラフの実行のような重要なパフォーマンス最適化と競合する。 実運用環境でMIアプリケーションをデプロイするためのサービスネイティブフレームワークであるxMIxを紹介する。 xMIxは、モデルランタイム内の事前定義された場所のセットにMI関数をアタッチし、レイヤ内のアクティベーションと残余ストリームをインターポーティングすることを可能にする。 xMIxは、前のモデル層の出力に依存するMI関数の条件付き呼び出しをサポートする。 複数のMIアプリケーションは単一のモデルインスタンスにデプロイできる。 xMIxはこれらすべてをサービスパスにコンパイルするが、必要に応じてのみ実行時に動的に起動する。 我々は、xMIxをvLLMサービスシステムと統合し、3つの主要なモデルと7つの多様なMIアプリケーションで評価する。 xMIxは、ネイティブのvLLM実行に匹敵するパフォーマンスを実現し、平均的トークン間レイテンシ(ITL)が1.3%、テールP99 ITLが1.2%、平均トークンから平均トークンまでの時間(TTFT)が2.6%、平均トークンスループット(TTT)が1.6%低下した。

関連論文リスト

• MeMo: Memory as a Model [96.54179792557863]
  大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを達成するが、その後の更新まで事前訓練後に凍結される。 MeMoは、LLMパラメータを変更せずに、新しい知識を専用のメモリモデルにエンコードするモジュラーフレームワークである。 MeMoは、さまざまな設定にまたがる既存のメソッドと比較して、強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-14T17:51:34Z)
• Enabling Performant and Flexible Model-Internal Observability for LLM Inference [6.153611368890026]
  DMI-Libは、内部オブザーバビリティをファーストクラスのシステムプリミティブとして扱う高速なディープモデルインスペクタである。 DMI-Libはオフラインのバッチ推論でわずか0.4%～6.8%のオーバーヘッドしか発生せず、オンラインの適度なサービスでは平均6%である。
  論文  参考訳（メタデータ） (2026-05-11T18:01:36Z)
• MobileLLM-Flash: Latency-Guided On-Device LLM Design for Industry Scale [36.89558970450915]
  リアルタイムAIエクスペリエンスは、リソース制約のあるハードウェアへの効率的なデプロイのために最適化されたデバイス上の大規模言語モデル(OD-LLM)を要求する。 本稿では,モバイル遅延制約下でのハードウェア・イン・ザ・ループアーキテクチャ・サーチを用いたモデル設計手法を提案する。
  論文  参考訳（メタデータ） (2026-03-16T22:10:50Z)
• ZeroDVFS: Zero-Shot LLM-Guided Core and Frequency Allocation for Embedded Platforms [7.633618497843279]
  マルチコアプラットフォーム上での熱・エネルギーを考慮したスケジューリングのためのモデルベース階層型マルチエージェント強化学習(MARL)フレームワークを提案する。 第一決定レイテンシはテーブルベースのプロファイリングよりも8,300倍高速で、動的組み込みシステムに実用的なデプロイを可能にする。
  論文  参考訳（メタデータ） (2026-01-13T02:56:06Z)
• Beyond Training: Enabling Self-Evolution of Agents with MOBIMEM [10.20348197254329]
  大きな言語モデル(LLM)エージェントは、モバイルおよびデスクトップ環境で複雑なタスクを自動化するために、ますますデプロイされる。 現在のモデル中心のエージェントアーキテクチャは、デプロイ後の自己開発に苦労している。 MEMMEMは、モデルの再訓練なしに反復的な自己進化を可能にするメモリ認識エージェントシステムである。
  論文  参考訳（メタデータ） (2025-12-15T12:38:43Z)
• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
  拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
  論文  参考訳（メタデータ） (2025-10-09T16:19:42Z)
• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。