論文の概要: Learning to Steer: Input-dependent Steering for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2508.12815v2
• Date: Sun, 02 Nov 2025 22:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 16:14:22.192564
• Title: Learning to Steer: Input-dependent Steering for Multimodal LLMs
• Title（参考訳）: ステアリングの学習:マルチモーダルLLMにおける入力依存ステアリング
• Authors: Jayneel Parekh, Pegah Khayatan, Mustafa Shukor, Arnaud Dapogny, Alasdair Newson, Matthieu Cord,
• Abstract要約: 本稿では,入力固有線形シフトを用いたきめ細かいステアリングについて検討する。 我々は、入力固有のステアリングベクトルを予測するために、小さな補助モジュールを訓練する。 我々のアプローチはL2S(Learn-to-Steer)と呼ばれ、幻覚を減らし、MLLMの安全性を向上し、他の静的ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 54.41165851011022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Steering has emerged as a practical approach to enable post-hoc guidance of LLMs towards enforcing a specific behavior. However, it remains largely underexplored for multimodal LLMs (MLLMs); furthermore, existing steering techniques, such as mean steering, rely on a single steering vector, applied independently of the input query. This paradigm faces limitations when the desired behavior is dependent on the example at hand. For example, a safe answer may consist in abstaining from answering when asked for an illegal activity, or may point to external resources or consultation with an expert when asked about medical advice. In this paper, we investigate a fine-grained steering that uses an input-specific linear shift. This shift is computed using contrastive input-specific prompting. However, the input-specific prompts required for this approach are not known at test time. Therefore, we propose to train a small auxiliary module to predict the input-specific steering vector. Our approach, dubbed as L2S (Learn-to-Steer), demonstrates that it reduces hallucinations and enforces safety in MLLMs, outperforming other static baselines. Our code is publicly available at https://jayneelparekh.github.io/learn-to-steer/
• Abstract（参考訳）: ステアリングは、特定の振る舞いを強制するためのLLMのポストホックガイダンスを可能にするための実践的なアプローチとして登場した。 しかし、MLLM(Multimodal LLMs)には未熟であり、また、平均ステアリングのような既存のステアリング技術は入力クエリから独立して適用される単一のステアリングベクトルに依存している。 このパラダイムは、望ましい振る舞いが手元にある例に依存する場合に制限に直面します。 例えば、安全な答えは、違法な活動を求めるときの回答を棄却すること、あるいは医学的アドバイスを求めるときの外部のリソースや専門家との相談に言及することである。 本稿では,入力固有線形シフトを用いたきめ細かいステアリングについて検討する。 このシフトは、コントラッシブな入力固有プロンプトを用いて計算される。 しかし、このアプローチに必要な入力固有のプロンプトは、テスト時点では知られていない。 そこで本研究では,入力固有のステアリングベクトルを予測するために,小さな補助モジュールを訓練することを提案する。 我々のアプローチはL2S(Learn-to-Steer)と呼ばれ、幻覚を減らし、MLLMの安全性を向上し、他の静的ベースラインよりも優れていることを示す。 私たちのコードはhttps://jayneelparekh.github.io/learn-to-steer/で公開されています。

関連論文リスト

• AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint [49.641959856967276]
  提案手法はAlphaSteerと呼ばれる,理論的に基礎的かつ実験的に有効なアクティベーションステアリング法である。 ユーティリティ保存のために、Null-space制約を使って、良性データのステアリングのためのほぼゼロベクトルを構築することを学ぶ。 複数のjailbreak攻撃とユーティリティベンチマークの実験は、AlphaSteerの有効性を示している。
  論文  参考訳（メタデータ） (2025-06-08T07:03:28Z)
• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [99.3105257001476]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Effectively Steer LLM To Follow Preference via Building Confident Directions [39.40603123075168]
  本稿では,モデルステアリング手法の理解と定量化のための理論的枠組みを提案する。 本フレームワークに着想を得て,LDMの活性化を制御できる確実な方向ステアリング法(CONFST)を提案する。 このアプローチは、一般的な双方向モデルステアリング方法に対して、3つの大きな利点を提供します。
  論文  参考訳（メタデータ） (2025-03-04T20:32:27Z)
• Identifiable Steering via Sparse Autoencoding of Multi-Concept Shifts [11.81523319216474]
  ステアリング法は、大きな言語モデル(LLM)の表現を操作して、望ましい特性を持つ応答を誘導する。 伝統的に、ステアリングは、単一のターゲット概念で異なる対照的なプロンプトのペアなど、監督に依存してきた。 Sparse Shift Autoencoders (SSAE)を導入し、その代わりに埋め込みの違いをスパース表現にマッピングする。
  論文  参考訳（メタデータ） (2025-02-14T08:49:41Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Analyzing the Generalization and Reliability of Steering Vectors [8.253773195379166]
  ステアリングベクトルは分布内および分布外の両方にかなりの制限があることを示す。 分散において、ステアビリティは異なる入力間で高度に変動する。 アウト・オブ・ディストリビューション(out-of-distribution)、ステアリングベクトル(steering vector)はよく一般化されるが、いくつかの概念はプロンプトの合理的な変化に対して脆弱である。
  論文  参考訳（メタデータ） (2024-07-17T08:32:03Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving [6.728693243652425]
  大規模言語モデル(LLM)は、特に一般化と解釈可能性において、自動運転分野において有望であることを示している。 我々は,ベクトル化された数値を事前学習したLLMにマージして,運転状況における文脈理解を改善する,ユニークなオブジェクトレベルのマルチモーダルLLMアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-03T11:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。