論文の概要: GEOSTEER: Geodesic Optimization for Activation Steering in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.10658v1
• Date: Wed, 09 Sep 2026 16:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.097543
• Title: GEOSTEER: Geodesic Optimization for Activation Steering in Large Language Models
• Title（参考訳）: GEOSTEER:大規模言語モデルにおけるアクティベーションステアリングのための測地最適化
• Abstract要約: 標準保存型アクティベーションステアリングの最適化手法であるGeoSteerを提案する。 また,GeoSteerは,最先端のアクティベーションステアリングベースラインよりも一貫して改善されていることを示す。 これらの結果は、事前定義されたワンステップ編集を適応的・幾何学的最適化に置き換えることで、ノルム保存ステアリングをより効果的にすることができることを示唆している。
• 参考スコア（独自算出の注目度）: 9.438320824151157
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Activation steering provides a lightweight way to control large language models (LLMs) by modifying their hidden activations at inference time. Among these approaches, norm-preserving steering aims to change model behavior without altering the activation norm, reducing the risk of representation collapse and degradation. However, existing norm-preserving methods are limited by predefined steering trajectories and by their reliance on one-step updates, which may fail to capture the complex structure of activation distributions. We propose GeoSteer, an optimization-based method for norm-preserving activation steering. GeoSteer formulates steering as a Riemannian optimization problem and updates activations through a sequence of small geodesic steps on the representation manifold. To avoid fixed steering directions, GeoSteer learns a nonlinear activation-space objective that distinguishes desired from undesired activations, and uses this function to adaptively guide each steering step. This multistep formulation yields smoother, more stable, and more consistent steering behavior while preserving the activation norm. Across TruthfulQA, RealToxicityPrompts, and UltraFeedback benchmarks, GeoSteer consistently improves over state-of-the-art activation steering baselines. These results suggest that norm-preserving steering can be made more effective by replacing predefined one-step edits with adaptive, geometry-aware optimization.
• Abstract（参考訳）: アクティベーションステアリングは、推論時に隠れたアクティベーションを変更することで、大きな言語モデル(LLM)を制御する軽量な方法を提供する。 これらの手法の中で、ノルム保存ステアリングは、アクティベーション規範を変更することなくモデル行動を変え、表現の崩壊や劣化のリスクを低減することを目的としている。 しかし、既存のノルム保存法は、予め定義されたステアリング軌道と、そのワンステップ更新への依存によって制限されているため、活性化分布の複雑な構造を捉えることができない可能性がある。 標準保存型アクティベーションステアリングの最適化手法であるGeoSteerを提案する。 GeoSteer はリーマン最適化問題としてステアリングを定式化し、表現多様体上の小さな測地ステップの列を通じてアクティベーションを更新する。 固定されたステアリング方向を避けるため、GeoSteerは望ましくないアクティベーションと区別する非線形なアクティベーション空間の目標を学習し、この関数を使用して各ステアリングステップを適応的にガイドする。 この多段階の定式化は、活性化ノルムを保ちながらより滑らかで、より安定で、より一貫した操舵行動をもたらす。 TruthfulQA、RealToxicityPrompts、UltraFeedbackベンチマーク全体で、GeoSteerは最先端のアクティベーションステアリングベースラインを一貫して改善している。 これらの結果は、事前定義されたワンステップ編集を適応的・幾何学的最適化に置き換えることで、ノルム保存ステアリングをより効果的にすることができることを示唆している。

関連論文リスト

• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• Minimizing Collateral Damage in Activation Steering [26.274685653829792]
  アクティベーションステアリング(英: Activation steering)とは、言語モデル(LLM)の動作を制御する手法である。 ベクトル付加のような標準的な介入は、しばしば他の標的でない特徴方向に沿った活性化のアライメントに意図しない変化を引き起こす。 本研究では, 協調的損傷を数学的に定式化し, ステアリングを制約付き最適化問題としてモデル化する原理的枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-01T23:52:54Z)
• Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control [2.752817022620644]
  推論時間LLMアライメント法は、生成中のアクティベーションを直接修正することで、微調整の代替となる。 複数のLLMアーキテクチャとスケールの層ワイドダイナミクスが局所線形モデルによってよく近似されていることを示す。 我々は, ステアリング性能の正式な保証を可能にするために, セットポイント追従誤差の理論的境界を導出する。
  論文  参考訳（メタデータ） (2026-04-21T03:09:46Z)
• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• Global Evolutionary Steering: Refining Activation Steering Control via Cross-Layer Consistency [12.78111885039368]
  アクティベーションエンジニアリングは、微調整の計算コストを伴わずに、大規模言語モデル(LLM)の正確な制御を可能にする。 静的なアクティベーション差からベクトルを導出する既存の手法は、高次元ノイズや階層的なセマンティックドリフトの影響を受けやすい。 本稿では,GERステアリング(Global Evolutionary Refined Steering, GER-steer)を提案する。
  論文  参考訳（メタデータ） (2026-03-12T03:45:19Z)
• Weight Updates as Activation Shifts: A Principled Framework for Steering [54.70188910511715]
  アクティベーションステアリングは極めてパラメータ効率のよい適応形態となるが、その有効性は重要な設計選択に依存する。 我々は,活性化空間介入と重量空間更新の1次等価性を確立し,活性化ステアリングが微調整動作を再現できる条件を導出する。 この等価性は、設計をステアリングするための原則的な枠組みをもたらし、ポストブロック出力を理論的に支持され、非常に表現力のある介入サイトとして特定する。
  論文  参考訳（メタデータ） (2026-02-28T02:50:04Z)
• ODESteer: A Unified ODE-Based Steering Framework for LLM Alignment [49.68063561145927]
  活性化ステアリングのための統一常微分方程式(ODE)に基づく理論的枠組みを提案する。 本稿では,バリア関数によって誘導されるODEベースのステアリングの一種であるODESteerを紹介する。 最先端のアクティベーションステアリング手法と比較すると、ODESteerは一貫した経験的改善を実現している。
  論文  参考訳（メタデータ） (2026-02-19T17:13:44Z)
• Spherical Steering: Geometry-Aware Activation Rotation for Language Models [15.078810641141295]
  推論時ステアリングは、言語モデル(LM)をトレーニングのコストなしで制御するための有望なパラダイムとして登場した。 本研究では,活性化回転によりこのトレードオフを解消する訓練不要プリミティブである球状ステアリングについて検討する。 本手法は,信号の完全性を保ちながら,測地線に沿って目標方向に向かって活性化を回転させ,目標概念に向けての活性化を誘導する。
  論文  参考訳（メタデータ） (2026-02-09T00:15:47Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection [1.7802147489386628]
  大規模言語モデル(LLM)は、有害な行動を引き起こす敵攻撃に対して脆弱なままである。 我々は2つの重要な革新を通じてこれらの制限に対処する選択ステアリングを提案する。 9つのモデルに対する実験により、選択ステアリングは以前の手法よりも5.5倍の攻撃成功率を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-27T08:56:25Z)
• GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters [61.51810815162003]
  制御された生成タスクに対してフレキシブルかつパラメータ効率の良い微調整を可能にするSE(3)-equivariant Adapter framework(GeoAda)を提案する。 GeoAdaは、過剰適合と破滅的な忘れを緩和しながら、モデルの幾何的一貫性を保っている。 我々は、フレーム制御、グローバル制御、サブグラフ制御、広範囲のアプリケーションドメインを含む多様な幾何学的制御タイプにまたがるGeoAdaの適用性を実証する。
  論文  参考訳（メタデータ） (2025-07-02T18:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。