論文の概要: UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering

• arxiv url: http://arxiv.org/abs/2605.30076v1
• Date: Thu, 28 May 2026 15:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.423898
• Title: UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering
• Title（参考訳）: UniSteer: Versatile LLMステアリングのためのアクティベーション空間におけるテキストガイドフローマッチング
• Abstract要約: アクティベーションに基づく制御は、ペルソナやスタイルといった行動を制御する効果的なパラダイムとして登場した。 残差ストリームのアクティベーションに関する条件分布を学習するテキスト誘導型アクティベーションフローマッチングモデルUniSteerを提案する。 我々は,UniSteerが行動制御,真正性ステアリング,きめ細かい概念ステアリング,マルチ制約命令の追従,アクティベーション空間の分類にまたがる統一インターフェースを提供することを示した。
• 参考スコア（独自算出の注目度）: 42.82337069202406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation-based control steers large language models (LLMs) by intervening on their internal representations during inference, and has emerged as an effective paradigm for controlling behaviors such as persona and style. However, existing methods often rely on fixed steering directions or task-specific intervention modules, making them difficult to adapt to fine-grained concepts and compositional constraints. We propose UniSteer, a text-guided activation flow matching model that learns a conditional distribution over residual-stream activations from natural-language conditions. Instead of fitting a separate intervention for each target behavior, UniSteer learns a universal conditional velocity field in activation space. At inference time, UniSteer performs flow inversion by partially transporting a source activation toward a latent state and regenerating it under a target textual condition before injecting it back into the frozen LLM. The same conditional model supports activation-space classification by selecting the textual label with the lowest reconstruction energy. Experiments on three target LLMs show that UniSteer provides a unified interface across behavioral control, truthfulness steering, fine-grained concept steering, multi-constraint instruction following, and activation-space classification.
• Abstract（参考訳）: アクティベーションベースの制御は、推論中に内部表現を介入することで、大きな言語モデル(LLM)を操り、ペルソナやスタイルなどの行動を制御する効果的なパラダイムとして登場した。 しかし、既存の手法は、しばしば固定された操舵方向やタスク固有の介入モジュールに依存しており、きめ細かい概念や構成上の制約に適応することが困難である。 テキスト誘導型アクティベーションフローマッチングモデルUniSteerを提案する。 それぞれの目標行動に個別の介入を適合させる代わりに、UniSteerはアクティベーション空間における普遍的な条件速度場を学習する。 推論時に、UniSteerは、ソース活性化を部分的に潜伏状態に移動させ、ターゲットのテキスト条件下で再生し、凍結したLCMに注入することでフローインバージョンを実行する。 同じ条件付きモデルは、最小再構成エネルギーでテキストラベルを選択することで、アクティベーション空間の分類をサポートする。 3つの LLM 実験により、UniSteer は行動制御、真理性ステアリング、きめ細かい概念ステアリング、マルチ制約命令、アクティベーション空間の分類にまたがる統一インターフェースを提供することが示された。

関連論文リスト

• SCRIPT: Scalable Diffusion Policy with Multi-stage Training for Language-driven Physics-based Humanoid Control [72.5651722107621]
  SCRIPTは、言語駆動の物理に基づくヒューマノイド制御のための多段階トレーニングフレームワークを備えたスケーラブルな拡散ポリシーである。 SCRIPTの中核はJAST-DiT(Joint Action-State-Text Diffusion Transformer)であり、アクション、物理状態、テキストを専用トークンストリームとして表現している。 自己回帰制御を安定させるために,近年の密集した文脈を保存し,長期的歴史から疎開したサンプルを抽出する非線形履歴条件付け機構を導入する。
  論文  参考訳（メタデータ） (2026-05-21T14:17:21Z)
• Steering Code LLMs with Activation Directions for Language and Library Control [10.49462610276906]
  コードLLMは、中立的なプロンプトの下で特定のプログラミング言語やライブラリにデフォルトとなることが多い。 本研究では,これらの嗜好が,推定時間で操作できる活性化空間において,ほぼ線形な方向として符号化されているかどうかを検討する。
  論文  参考訳（メタデータ） (2026-03-24T18:12:05Z)
• FreeAct: Freeing Activations for LLM Quantization [89.97086263978058]
  量子化は、大規模言語モデルの重要なメモリと計算オーバーヘッドを軽減するために重要である。 FreeActは静的な1対1の制約を緩和し、動的アクティベーションの格差を緩和する新しい量子化フレームワークである。 dLLMとMLLMでの実験では、FreeActはベースラインを大幅に上回り、パフォーマンスは最大5.3%向上した。
  論文  参考訳（メタデータ） (2026-03-02T12:02:17Z)
• ODESteer: A Unified ODE-Based Steering Framework for LLM Alignment [49.68063561145927]
  活性化ステアリングのための統一常微分方程式(ODE)に基づく理論的枠組みを提案する。 本稿では,バリア関数によって誘導されるODEベースのステアリングの一種であるODESteerを紹介する。 最先端のアクティベーションステアリング手法と比較すると、ODESteerは一貫した経験的改善を実現している。
  論文  参考訳（メタデータ） (2026-02-19T17:13:44Z)
• Fine-Grained Activation Steering: Steering Less, Achieving More [33.680685349571]
  アクティベーションステアリングは、大規模言語モデル(LLM)の振る舞いを変更するためのコスト効率のパラダイムとして登場した。 ブロックレベルのアクティベーションは本質的に異種であり,有益であり,無関係であり,有害であることを示す。 我々はAUSteerを提案する。AUSteerはAUレベルのより微細な粒度で動作するシンプルで効率的な方法である。
  論文  参考訳（メタデータ） (2026-02-04T11:03:01Z)
• Steering Language Models Before They Speak: Logit-Level Interventions [9.055997973281919]
  制御可能な生成のためのトレーニング不要な推論時間ロジット介入を提案する。 以上の結果から,ロジットステアリングは大きな,一貫した,マルチタスク制御のゲインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-16T03:00:33Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation [102.1527101235251]
  LangTrajは、トラフィックシナリオにおけるすべてのエージェントの共同動作をシミュレートする、言語条件のシーン拡散モデルである。 自然言語入力を条件付けすることで、LangTrajはインタラクティブな振る舞いを柔軟かつ直感的に制御できる。 LangTraj氏は、リアリズム、言語制御性、言語条件の安全クリティカルなシミュレーションにおいて、強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-04-15T17:14:06Z)
• LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models [16.37602070339033]
  LLM(Large Language Models)は、意味的に等価なパラフレーズ入力によって、しばしば一貫性のない応答を生成する。 セマンティック不整合の原因となる潜在特徴表現を正確に識別する新しいアクティベーションステアリング手法LF-ステアリングを提案する。 本手法は, 関連トランス層の隠蔽状態をスパースオートエンコーダに基づいて, 疎活性化された高次元特徴空間にマッピングする。
  論文  参考訳（メタデータ） (2025-01-19T13:06:51Z)
• Linearly Controlled Language Generation with Performative Guarantees [4.447467536572626]
  我々は、LMの潜在空間で線形に表現される概念意味論の共通モデルを用いる。 自然言語生成はこの連続的な意味空間における軌跡を辿ると考える。 本研究では,望ましくない意味に対応する領域から動的に軌道を逸脱する,軽量で勾配のない介入を提案する。
  論文  参考訳（メタデータ） (2024-05-24T11:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。