論文の概要: SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models

• arxiv url: http://arxiv.org/abs/2510.26769v1
• Date: Thu, 30 Oct 2025 17:52:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.957662
• Title: SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models
• Title（参考訳）: SteerVLM:視覚言語モデルのための軽量アクティブステアリングによるロバストモデル制御
• Authors: Anushka Sivakumar, Andrew Zhang, Zaber Hakim, Chris Thomas,
• Abstract要約: 本研究は、VLM(Vision-Language Models)のための軽量ステアリングモジュールであるSteerVLMを紹介する。 提案手法は,言語モダリティと画像コンテキストを接続するアクティベーションを動的に調整するために,ターゲットと逆動作を符号化するペアプロンプトの潜伏埋め込みから学習する。 我々の操舵モジュールは、元のVLMの大きさの0.14%に相当する学習パラメータを必要とする。
• 参考スコア（独自算出の注目度）: 4.506695482619111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces SteerVLM, a lightweight steering module designed to guide Vision-Language Models (VLMs) towards outputs that better adhere to desired instructions. Our approach learns from the latent embeddings of paired prompts encoding target and converse behaviors to dynamically adjust activations connecting the language modality with image context. This allows for fine-grained, inference-time control over complex output semantics without modifying model weights while preserving performance on off-target tasks. Our steering module requires learning parameters equal to 0.14% of the original VLM's size. Our steering module gains model control through dimension-wise activation modulation and adaptive steering across layers without requiring pre-extracted static vectors or manual tuning of intervention points. Furthermore, we introduce VNIA (Visual Narrative Intent Alignment), a multimodal dataset specifically created to facilitate the development and evaluation of VLM steering techniques. Our method outperforms existing intervention techniques on steering and hallucination mitigation benchmarks for VLMs and proposes a robust solution for multimodal model control through activation engineering.
• Abstract（参考訳）: この研究は、VLM(Vision-Language Models)を望ましい指示に従う出力へと導くために設計された軽量なステアリングモジュールであるSteerVLMを紹介した。 提案手法は,言語モダリティと画像コンテキストを接続するアクティベーションを動的に調整するために,ターゲットと逆動作を符号化するペアプロンプトの潜伏埋め込みから学習する。 これにより、ターゲット外のタスクのパフォーマンスを維持しながらモデルの重みを変更することなく、複雑な出力セマンティクスをきめ細かな推論時間で制御できる。 我々の操舵モジュールは、元のVLMの大きさの0.14%に相当する学習パラメータを必要とする。 我々のステアリングモジュールは、事前抽出された静的ベクトルや介入点の手動チューニングを必要とせずに、次元的アクティベーション変調と層間のアダプティブステアリングを通じてモデル制御を得る。 VNIA(Visual Narrative Intent Alignment, Visual Narrative Intent Alignment)は, VLMステアリング技術の開発と評価を容易にするために開発されたマルチモーダルデータセットである。 本手法は, VLMのステアリングと幻覚軽減ベンチマークにおける既存の介入手法よりも優れており, アクティベーションエンジニアリングによるマルチモーダルモデル制御のための堅牢な解法を提案する。

関連論文リスト

• VISOR++: Universal Visual Inputs based Steering for Large Vision Language Models [2.8676122062166187]
  最適化された視覚入力だけで動作制御を実現するために、出力リダイレクトのためのユニバーサルビジュアル入力ベースのステアリング(VISOR++)を導入する。 本研究では、視覚言語モデル(VLM)のアンサンブルに対して単一のVISOR++画像を生成し、それぞれのステアリングベクトルをエミュレートできることを実証する。 また、オープンアクセスとクローズアクセスの両方を含む未確認モデルの方向性の挙動シフトを達成する上で、VISOR++イメージの約束を示す。
  論文  参考訳（メタデータ） (2025-09-29T21:43:18Z)
• EasySteer: A Unified Framework for High-Performance and Extensible LLM Steering [55.56674028743782]
  大規模言語モデル(LLM)のステアリングは、推論時にモデル動作を制御するための有望なパラダイムとして登場した。 我々は,vLLM上に構築された高性能LLMステアリングのための統合フレームワークであるEasySteerを提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:07Z)
• LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models [16.37602070339033]
  LLM(Large Language Models)は、意味的に等価なパラフレーズ入力によって、しばしば一貫性のない応答を生成する。 セマンティック不整合の原因となる潜在特徴表現を正確に識別する新しいアクティベーションステアリング手法LF-ステアリングを提案する。 本手法は, 関連トランス層の隠蔽状態をスパースオートエンコーダに基づいて, 疎活性化された高次元特徴空間にマッピングする。
  論文  参考訳（メタデータ） (2025-01-19T13:06:51Z)
• LLaVA Steering: Visual Instruction Tuning with 500x Fewer Parameters through Modality Linear Representation-Steering [30.51487692912812]
  MLLM(Multimodal Large Language Models)は、大規模言語モデル(LLM)に視覚表現を統合することで、視覚的タスクを大幅に進歩させる。 目的を達成するためにモダリティリニア表現ステアリング(MoReS)を導入する。 MoReSはモデル全体の固有のモダリティを効果的に再バランスさせ、そこでキーとなるアイデアは、各モデル層をまたいだ視覚部分空間の線形変換を通じて視覚表現を操ることである。
  論文  参考訳（メタデータ） (2024-12-16T21:14:11Z)
• Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
  命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。 提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。 本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:38:20Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。