論文の概要: EasySteer: A Unified Framework for High-Performance and Extensible LLM Steering
- arxiv url: http://arxiv.org/abs/2509.25175v1
- Date: Mon, 29 Sep 2025 17:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.152105
- Title: EasySteer: A Unified Framework for High-Performance and Extensible LLM Steering
- Title(参考訳): EasySteer: 高性能で拡張可能なLLMステアリングのための統一フレームワーク
- Authors: Haolei Xu, Xinyu Mei, Yuchen Yan, Rui Zhou, Wenqi Zhang, Weiming Lu, Yueting Zhuang, Yongliang Shen,
- Abstract要約: 大規模言語モデル(LLM)のステアリングは、推論時にモデル動作を制御するための有望なパラダイムとして登場した。
我々は,vLLM上に構築された高性能LLMステアリングのための統合フレームワークであるEasySteerを提案する。
- 参考スコア(独自算出の注目度): 55.56674028743782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) steering has emerged as a promising paradigm for controlling model behavior at inference time through targeted manipulation of hidden states, offering a lightweight alternative to expensive retraining. However, existing steering frameworks suffer from critical limitations: computational inefficiency, limited extensibility, and restricted functionality that hinder both research progress and practical deployment. We present EasySteer, a unified framework for high-performance, extensible LLM steering built on vLLM. Our system features modular architecture with pluggable interfaces for both analysis-based and learning-based methods, fine-grained parameter control, pre-computed steering vectors for eight application domains, and an interactive demonstration system. Through deep integration with vLLM's optimized inference engine, EasySteer achieves 5.5-11.4$\times$ speedup over existing frameworks. Extensive experiments demonstrate its effectiveness in overthinking mitigation, hallucination reduction, and other key applications. EasySteer transforms steering from research technique to production-ready capability, establishing critical infrastructure for deployable, controllable language models.
- Abstract(参考訳): 大規模言語モデル(LLM)のステアリングは、隠れ状態のターゲット操作を通じてモデル動作を推論時に制御するための有望なパラダイムとして登場し、高価なリトレーニングに代わる軽量な代替手段を提供する。
しかし、既存のステアリングフレームワークは、計算の非効率性、拡張性の制限、研究の進歩と実践的展開の妨げとなる機能制限といった限界に悩まされている。
我々は,vLLM上に構築された高性能拡張性LLMステアリングのための統合フレームワークであるEasySteerを提案する。
本システムでは,解析ベースと学習ベースの両方にプラグイン可能なインタフェース,詳細なパラメータ制御,8つのアプリケーションドメインに対する事前計算型ステアリングベクトル,対話型デモシステムを備える。
vLLMの最適化推論エンジンとの深い統合により、EasySteerは既存のフレームワークよりも5.5-11.4$\times$スピードアップを達成した。
広範囲にわたる実験は、緩和、幻覚の低減、その他の重要な応用を過度に検討する上で、その効果を実証している。
EasySteerは、ステアリングを研究技術から本番対応能力に転換し、デプロイ可能な、制御可能な言語モデルのための重要なインフラストラクチャを確立する。
関連論文リスト
- Scale, Don't Fine-tune: Guiding Multimodal LLMs for Efficient Visual Place Recognition at Test-Time [12.659582318581606]
Vision Foundation Models (VFM) や Multimodal Large Language Models (MLLM) といった現在のアプローチでは意味理解が強化されているが、微調整時に高い計算オーバーヘッドと限られたクロスドメイン転送性に悩まされている。
本稿では,直接類似度スコアリングのためのガイダンスベースの手法を用いて,視覚言語アライメント機能を活用したテスト時間スケーリング(TTS)を用いた新しいフレームワークを提案する。
提案手法では,長さ制御可能なスコアアウトプットを生成する構造的プロンプトを用いることで,2段階処理を除去する。
論文 参考訳(メタデータ) (2025-09-02T09:25:13Z) - VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。
我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。
モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
論文 参考訳(メタデータ) (2025-09-01T01:45:18Z) - Optimizing Small Language Models for In-Vehicle Function-Calling [4.148443557388842]
本稿では,小型言語モデル(SLM)をエッジデバイスとして車両内の機能呼び出しエージェントとして展開するための総合的アプローチを提案する。
SLMを利用することで、車両制御機構を簡素化し、ユーザエクスペリエンスを向上させる。
論文 参考訳(メタデータ) (2025-01-04T17:32:56Z) - LLaVA Steering: Visual Instruction Tuning with 500x Fewer Parameters through Modality Linear Representation-Steering [30.51487692912812]
MLLM(Multimodal Large Language Models)は、大規模言語モデル(LLM)に視覚表現を統合することで、視覚的タスクを大幅に進歩させる。
目的を達成するためにモダリティリニア表現ステアリング(MoReS)を導入する。
MoReSはモデル全体の固有のモダリティを効果的に再バランスさせ、そこでキーとなるアイデアは、各モデル層をまたいだ視覚部分空間の線形変換を通じて視覚表現を操ることである。
論文 参考訳(メタデータ) (2024-12-16T21:14:11Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳(メタデータ) (2024-09-30T10:48:20Z) - Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection [2.1155908599769764]
パラメータ効率の良いオープン語彙オブジェクト検出のための軽量なモジュラーフレームワークUniProj-Detを提案する。
UniProj-Detは事前訓練されたバックボーンを凍結し、学習可能なモダリティトークンを備えたユニバーサル・プロジェクション・モジュールを導入し、最小限のコストで視覚-言語適応を可能にする。
論文 参考訳(メタデータ) (2024-08-20T12:27:53Z) - Can SAM Boost Video Super-Resolution? [78.29033914169025]
単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。
この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。
我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
論文 参考訳(メタデータ) (2023-05-11T02:02:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。