論文の概要: High-Dimensional Random Projection for Activation Steering in Language Models

• arxiv url: http://arxiv.org/abs/2606.15092v1
• Date: Sat, 13 Jun 2026 03:53:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.839102
• Title: High-Dimensional Random Projection for Activation Steering in Language Models
• Title（参考訳）: 言語モデルにおけるアクティベーションステアリングのための高次元ランダム投影
• Authors: Minh-Hieu Pham, Bach Do, Laziz Abdullaev, Tan Minh Nguyen, Khoat Than,
• Abstract要約: アクティブステアリング(HiDRA)のための高次元ランダム投影法を提案する。 HiDRAは、既存のアクティベーションステアリングメソッドとシームレスに統合される、トレーニング不要のアプローチである。 多様なLLMファミリーとベンチマークによる実験は、HiDRAがベースラインよりも一貫して優れていることを示している。
• 参考スコア（独自算出の注目度）: 15.283548146322977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering has emerged as a key methodology for controlling the behavior of large language models (LLMs). Existing difference-in-means based methods, however, are fundamentally limited: they capture only mean differences between class activations and fail to recover discriminative signals that naturally exist in the nonlinear feature subspace under the superposition hypothesis. Motivated by that, we propose High-Dimensional Random-projection for Activation Steering (HiDRA), a training-free approach that integrates seamlessly with existing activation steering methods. By performing activation addition in the projected high-dimensional space, HiDRA can provably capture a better discriminative structure beyond the reach of linear methods. Experiments across diverse LLM families and benchmarks demonstrate that HiDRA consistently outperforms baseline counterparts, achieving stronger behavioral control without significant computational overhead.
• Abstract（参考訳）: アクティベーションステアリングは、大規模言語モデル(LLM)の振る舞いを制御するための重要な方法論として登場した。 しかし、既存の差分法は基本的に制限されており、クラスアクティベーション間の平均差のみをキャプチャし、重ね合わせ仮説の下で自然に非線形特徴部分空間に存在する識別的信号の回収に失敗する。 そこで我々は,既存のアクティベーションステアリング手法とシームレスに統合されたトレーニングフリーアプローチであるHiDRA(High-dimensional Random-projection for Activation Steering)を提案する。 投影された高次元空間において活性化付加を行うことにより、HiDRAは線形法の範囲を超えてより良い識別的構造を確実に捉えることができる。 多様なLLMファミリーとベンチマークによる実験により、HiDRAはベースラインよりも一貫して優れており、大きな計算オーバーヘッドを伴わずにより強力な行動制御を実現している。

関連論文リスト

• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• Latent Action Reparameterization for Efficient Agent Inference [56.42014061367112]
  本稿では,複数のステップのセマンティックな振る舞いに対応する,コンパクトな潜在行動空間を学習するフレームワークを提案する。 手作りのマクロや階層型コントローラとは異なり、潜在動作はエージェントの軌跡から学習され、モデルに直接統合される。
  論文  参考訳（メタデータ） (2026-05-18T16:07:44Z)
• Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control [2.752817022620644]
  推論時間LLMアライメント法は、生成中のアクティベーションを直接修正することで、微調整の代替となる。 複数のLLMアーキテクチャとスケールの層ワイドダイナミクスが局所線形モデルによってよく近似されていることを示す。 我々は, ステアリング性能の正式な保証を可能にするために, セットポイント追従誤差の理論的境界を導出する。
  論文  参考訳（メタデータ） (2026-04-21T03:09:46Z)
• ODESteer: A Unified ODE-Based Steering Framework for LLM Alignment [49.68063561145927]
  活性化ステアリングのための統一常微分方程式(ODE)に基づく理論的枠組みを提案する。 本稿では,バリア関数によって誘導されるODEベースのステアリングの一種であるODESteerを紹介する。 最先端のアクティベーションステアリング手法と比較すると、ODESteerは一貫した経験的改善を実現している。
  論文  参考訳（メタデータ） (2026-02-19T17:13:44Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• Learning Distribution-Wise Control in Representation Space for Language Models [7.756342860929851]
  学習可能な介入は、概念のサブスペースにポイントワイズ制御を適用することを目的としており、ハイレベルな振る舞いを変更するのに有効であることが証明されている。 我々は、このアプローチを分布レベルにまで拡張し、モデルがポイントワイズ変換だけでなく、概念部分空間の周辺領域も学習できるようにする。
  論文  参考訳（メタデータ） (2025-06-07T06:52:58Z)
• Probe-Free Low-Rank Activation Intervention [26.502232859901167]
  隠れたアクティベーションを編集する推論時間の介入は、望ましい世代に向けてLMを操る有望な結果を示している。 本稿では,特定のアクティベーション層内のすべての注意点に対するプローブフリー干渉法FLORAINを提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:03:05Z)
• Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors [8.761404991620285]
  大規模言語モデル(LLM)の行動を修正するための効果的かつ経済的手法として活性化介入が出現した。 本稿では,モデルアクティベーションを推論時に介入するための動的ステアリングベクトルを構成する新しい手法であるSemantics-Adaptive Dynamic Intervention (SADI)を提案する。 実験結果から,SADIが確立したベースラインをかなりのマージンで上回り,トレーニングなしでのタスク性能が向上した。
  論文  参考訳（メタデータ） (2024-10-16T06:58:49Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。