論文の概要: WAQS: Weight Absorption for Quadratic Probing and Affine Steering

• arxiv url: http://arxiv.org/abs/2610.24367v1
• Date: Sat, 17 Oct 2026 01:34:50 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:46:35.378175
• Title: WAQS: Weight Absorption for Quadratic Probing and Affine Steering
• Title（参考訳）: WAQS:2次プローブとアフィンステアリングのための軽量吸収
• Abstract要約: textbfWAQS(textbfWeight textbfAbsorption for textbfQuadratic probing and affine textbfSteering)は,状態依存型ステアリングを実現するフレームワークである。 このアフィン干渉は、隣接する線形変換に正確に折り畳むことができることを示す。
• 参考スコア（独自算出の注目度）: 8.233186280263913
• License:
• Abstract: Activation steering provides a lightweight alternative to fine-tuning for controlling large language model behavior. Existing methods, however, often face a trade-off between efficiency and expressiveness: fixed steering vectors incur negligible inference overhead but cannot adapt to the current model input, whereas input-dependent nonlinear interventions provide greater flexibility at additional runtime cost. We introduce \textbf{WAQS} (\textbf{W}eight \textbf{A}bsorption for \textbf{Q}uadratic probing and affine \textbf{S}teering), a framework that obtains state-dependent steering, without additional inference-time computation. WAQS models a concept with a quadratic probe, whose gradient yields an affine, activation-dependent steering direction. We show that this affine intervention can be folded exactly into adjacent linear transformations through an offline weight update. Moreover, we prove that quadratic functions form the maximal class of smooth concept scores whose gradient-based interventions are affine and therefore exactly absorbable into linear layers. Under a Gaussian representation model, our formulation admits an interpretation as the difference of class-conditional Mahalanobis pulls and naturally generalizes linear discriminant and difference-in-means steering. To scale to high-dimensional representations, we introduce a low-rank parameterization of the quadratic term. Across truthfulness, refusal, and sycophancy steering tasks, quadratic steering matches or improves upon constant linear steering while preserving model utility, with the absorbed implementation introducing no additional inference-time operations. Our results suggest that quadratic probes provide a practical middle ground between static linear steering and computationally expensive dynamic nonlinear interventions.
• Abstract（参考訳）: アクティベーションステアリングは、大規模な言語モデルの振る舞いを制御するための微調整の軽量な代替手段を提供する。 固定ステアリングベクトルは無視可能な推論オーバーヘッドを発生させるが、現在のモデル入力に適応できないのに対して、入力依存の非線形介入は追加の実行コストでより柔軟性を提供する。 推論時間計算を必要とせず,状態依存型ステアリングを求めるフレームワークである \textbf{WAQS} (\textbf{W}eight \textbf{A}bsorption for \textbf{Q}uadratic probing and affine \textbf{S}teering) を導入する。 WAQSは2次プローブの概念をモデル化し、勾配はアフィン、活性化依存の操舵方向を生成する。 このアフィン干渉は, オフライン重み更新により, 隣接する線形変換に正確に折り畳み可能であることを示す。 さらに、2次函数が勾配に基づく介入がアフィンであり、従って線形層に完全に吸収可能な滑らかな概念スコアの最大クラスを形成することを証明した。 ガウス表現モデルの下で、我々の定式化は、クラス条件のマハラノビスの引力の差として解釈を許容し、線形判別と相違点のステアリングを自然に一般化する。 高次元表現にスケールするために、二次項の低ランクパラメータ化を導入する。 真理性、拒絶、サイコファシーステアリングタスク全体にわたって、二次ステアリングはモデルユーティリティを保ちながら定数線形ステアリングを改善し、追加の推論時間操作を導入しない。 その結果,2次プローブは静的な線形ステアリングと計算コストのかかる動的非線形介入の中間点となることが示唆された。

関連論文リスト

• AdaKoop: Efficient Modeling of Nonlinear Dynamics from Nonstationary Data Streams with Koopman Operator Regression [16.514388442204446]
  本研究では,非定常データストリーム上の非線形ダイナミクスをモデル化する効率的なストリーミングアルゴリズムであるAdaKoopを提案する。 AdaKoopは、反復的非線形最適化の計算コストを抑え、ストリーミング方式で非線形力学の効率的かつ安定したモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-06-03T14:23:32Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• Distilling Linearized Behavior into Non-Linear Fine-Tuning for Effective Task Arithmetic [17.222346684974607]
  線形と標準非線形微調整のギャップを埋める。 曲率規則化された線形化教師の隠れ表現を,従来の微調整で訓練した非線形の学生に蒸留する。 その結果, 線形化モデルの重要な特性をタスク演算に継承し, タスクベクトルの効率的な構成を実現し, 推論時間オーバーヘッドを発生させることなく, 視覚および言語ベンチマーク間での強い性能を実現することができた。
  論文  参考訳（メタデータ） (2026-05-18T18:11:34Z)
• Non-Parametric Rehearsal Learning via Conditional Mean Embeddings [88.89267783967263]
  本研究では,不必要な未来(AUF)問題をテキスト化するための非パラメトリックリハーサル学習手法を提案する。 具体的には、カーネル機械を用いてAUFの目的を、動作誘起分布変化から所望性モデリングを遠ざける統一表現に再構成する。
  論文  参考訳（メタデータ） (2026-05-09T15:30:52Z)
• Linear Adversarial Concept Erasure [108.37226654006153]
  与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。 提案手法は, トラクタビリティと解釈性を維持しつつ, 深い非線形分類器のバイアスを効果的に軽減し, 高い表現性を有することを示す。
  論文  参考訳（メタデータ） (2022-01-28T13:00:17Z)
• Towards Data-driven LQR with KoopmanizingFlows [8.133902705930327]
  本稿では,線形時間不変モデル(LTI)を連続時間非自律非線形力学のクラスで学習するための新しいフレームワークを提案する。 我々は、有意な持ち上げ座標を同時に学習しながら、制御において線形なクープマン作用素の有限表現を学習する。
  論文  参考訳（メタデータ） (2022-01-27T17:02:03Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Derivative-Based Koopman Operators for Real-Time Control of Robotic Systems [14.211417879279075]
  本稿では, モデル誤差を拘束する非線形力学をデータ駆動で同定するための一般化可能な手法を提案する。 クープマン演算子に基づく線形表現を構築し,テイラー級数精度解析を用いて誤差境界を導出する。 制御と組み合わせると、非線形系のクープマン表現は競合する非線形モデリング法よりも極端に優れた性能を持つ。
  論文  参考訳（メタデータ） (2020-10-12T15:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。