論文の概要: vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM
- arxiv url: http://arxiv.org/abs/2603.06588v1
- Date: Mon, 02 Feb 2026 16:34:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-15 16:38:22.393377
- Title: vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM
- Title（参考訳）: vLLM Hook v0: vLLMのモデル内部をプログラミングするためのプラグイン
- Authors: Ching-Yun Ko, Pin-Yu Chen,
- Abstract要約: 我々は、大言語モデル(LLM)の内部状態のプログラミングを可能にするオープンソースのプラグインであるvLLM Hookを紹介する。
vLLM HookはvLLMへのシームレスな統合を提供し、パッシブプログラミングとアクティブプログラミングの2つの重要な機能をサポートしている。
本稿では, インジェクション検出, 検索強化検索 (RAG) , アクティベーションステアリングの3つのユースケースについて紹介する。
- 参考スコア（独自算出の注目度）: 55.32525477916152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern artificial intelligence (AI) models are deployed on inference engines to optimize runtime efficiency and resource allocation, particularly for transformer-based large language models (LLMs). The vLLM project is a major open-source library to support model serving and inference. However, the current implementation of vLLM limits programmability of the internal states of deployed models. This prevents the use of popular test-time model alignment and enhancement methods. For example, it prevents the detection of adversarial prompts based on attention patterns or the adjustment of model responses based on activation steering. To bridge this critical gap, we present vLLM Hook, an opensource plug-in to enable the programming of internal states for vLLM models. Based on a configuration file specifying which internal states to capture, vLLM Hook provides seamless integration to vLLM and supports two essential features: passive programming and active programming. For passive programming, vLLM Hook probes the selected internal states for subsequent analysis, while keeping the model generation intact. For active programming, vLLM Hook enables efficient intervention of model generation by altering the selected internal states. In addition to presenting the core functions of vLLM Hook, in version 0, we demonstrate 3 use cases including prompt injection detection, enhanced retrieval-augmented retrieval (RAG), and activation steering. Finally, we welcome the community's contribution to improve vLLM Hook via https://github.com/ibm/vllm-hook.
- Abstract（参考訳）: 現代の人工知能(AI)モデルは、特にトランスフォーマーベースの大規模言語モデル(LLM)のランタイム効率とリソース割り当てを最適化するために、推論エンジンにデプロイされる。
vLLMプロジェクトは、モデル提供と推論をサポートする主要なオープンソースライブラリである。
しかしながら、現在のvLLMの実装は、デプロイされたモデルの内部状態のプログラム可能性を制限する。
これにより、一般的なテストタイムモデルのアライメントと拡張メソッドの使用が防止される。
例えば、注意パターンに基づく敵のプロンプトの検出や、アクティベーションステアリングに基づくモデル応答の調整を防止する。
この重要なギャップを埋めるために、私たちはvLLMモデルの内部状態のプログラミングを可能にするオープンソースのプラグインであるvLLM Hookを紹介します。
vLLM Hookは、どの内部状態を取得するかを指定する設定ファイルに基づいて、vLLMへのシームレスな統合を提供し、パッシブプログラミングとアクティブプログラミングの2つの重要な機能をサポートしている。
受動的プログラミングでは、vLLM Hookはモデル生成をそのまま保ちながら、選択した内部状態を調べて分析する。
アクティブプログラミングでは、vLLM Hookは選択した内部状態を変更することでモデル生成の効率的な介入を可能にする。
バージョン0では,vLLM Hookのコア機能に加えて,インジェクション検出,検索強化検索(RAG),アクティベーションステアリングの3つのユースケースが紹介されている。
最後に、コミュニティによるvLLM Hookの改善への貢献を、https://github.com/ibm/vllm-hookで歓迎します。
関連論文リスト
- UAOR: Uncertainty-aware Observation Reinjection for Vision-Language-Action Models [25.401818528256232]
Uncertainty-Aware Observation Reinjection (UAOR) は、Vision-Language-Action (VLA) モデルのための、効果的で、トレーニングのない、プラグアンドプレイモジュールである。
シミュレーションや実世界のタスクにおいて,オーバーヘッドを最小限に抑えながら多様なVLAモデルを継続的に改善する。
論文 参考訳（メタデータ） (2026-02-20T06:22:21Z) - SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models [4.506695482619111]
本研究は、VLM(Vision-Language Models)のための軽量ステアリングモジュールであるSteerVLMを紹介する。
提案手法は,言語モダリティと画像コンテキストを接続するアクティベーションを動的に調整するために,ターゲットと逆動作を符号化するペアプロンプトの潜伏埋め込みから学習する。
我々の操舵モジュールは、元のVLMの大きさの0.14%に相当する学習パラメータを必要とする。
論文 参考訳（メタデータ） (2025-10-30T17:52:39Z) - Source-Free Object Detection with Detection Transformer [59.33653163035064]
Source-Free Object Detection (SFOD) は、ソースデータにアクセスすることなく、ソースドメインから教師なしのターゲットドメインへの知識転送を可能にする。
ほとんどの既存のSFODアプローチは、より高速なR-CNNのような従来のオブジェクト検出(OD)モデルに限られるか、新しいODアーキテクチャ、特に検出変換器(DETR)に適合しない一般的なソリューションとして設計されている。
本稿では,DTRのクエリ中心の機能強化を特化して設計された新しいSFODフレームワークであるFeature Reweighting ANd Contrastive Learning NetworK(FRANCK)を紹介する。
論文 参考訳（メタデータ） (2025-10-13T07:35:04Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - VISOR++: Universal Visual Inputs based Steering for Large Vision Language Models [2.8676122062166187]
最適化された視覚入力だけで動作制御を実現するために、出力リダイレクトのためのユニバーサルビジュアル入力ベースのステアリング(VISOR++)を導入する。
本研究では、視覚言語モデル(VLM)のアンサンブルに対して単一のVISOR++画像を生成し、それぞれのステアリングベクトルをエミュレートできることを実証する。
また、オープンアクセスとクローズアクセスの両方を含む未確認モデルの方向性の挙動シフトを達成する上で、VISOR++イメージの約束を示す。
論文 参考訳（メタデータ） (2025-09-29T21:43:18Z) - REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering [26.428347164111926]
推論時ステアリングは、パラメータを変更することなく、大きな言語モデルの応答を変更することを目的としている。
既存のアプローチはしばしば単純化的なキューやアドホックな一般化に依存している。
本稿では,Transformerモデルにおける振る舞い関連モジュールを識別するフレームワークであるREALを紹介する。
論文 参考訳（メタデータ） (2025-06-10T02:16:50Z) - Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。
本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。
これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
論文 参考訳（メタデータ） (2025-01-02T22:26:54Z) - InferAligner: Inference-Time Alignment for Harmlessness through
Cross-Model Guidance [56.184255657175335]
我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。
実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。
これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
論文 参考訳（メタデータ） (2024-01-20T10:41:03Z) - Steering Language Models With Activation Engineering [40.04138190785384]
アクティベーションエンジニアリングを導入し、モデル出力を制御(またはステア)するためにアクティベーションの推論時間を変更する。
LLaMA-3 や OPT などのモデルを用いて, 負対正の感情変化と解毒を行う。
ActAddは、ターゲット外のタスクのパフォーマンスを維持しながら、高レベルの出力特性(トピックや感情など)を推論時間で制御する。
論文 参考訳（メタデータ） (2023-08-20T12:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。