論文の概要: CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits
- arxiv url: http://arxiv.org/abs/2608.05732v1
- Date: Thu, 06 Aug 2026 08:17:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.851964
- Title: CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits
- Title（参考訳）: CircuitSteer:スパースオートエンコーダ回路による幾何配向多層ステアリング
- Abstract要約: 大規模言語モデル(LLM)の振る舞いを制御することは、AIアライメントにとって重要な課題である。
既存のステアリング法は、凝集活性化の相違から導かれる固定された単層干渉に依存する。
本稿では、スパースオートエンコーダを利用してコヒーレントなセマンティック回路を識別・操作する新しいフレームワークCircuitSteerを紹介する。
- 参考スコア（独自算出の注目度）: 3.6732711233211677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Controlling the behavior of large language models (LLMs) remains a critical challenge for AI alignment. Existing steering methods, such as Contrastive Activation Addition (CAA), typically rely on fixed single-layer interventions derived from aggregate activation differences. These methods impose a single intervention across semantically diverse inputs and often fail to sustain consistent behavioral changes across layers, limiting the effectiveness of the steering. In this work, we introduce CircuitSteer, a novel framework that leverages Sparse Autoencoders (SAEs) to identify and manipulate coherent semantic circuits distributed across multiple layers. By constructing a feature flow circuit based on feature co-activation and the geometric alignment of decoder directions, we isolate the specific multi-layer subcircuits responsible for a target behavior. We then synthesize dense steering vectors from these sparse features and apply multi-point interventions to guide the model's internal semantic trajectory. We evaluate CircuitSteer using contrastive examples across a diverse set of tasks, including toxicity, emotion-intensity, sycophancy, and refusal, spanning two model families. Across all models and datasets, CircuitSteer is the only method to consistently produce fluency-preserving interventions; competing methods either sacrifice text quality or lack coverage, failing entirely on complex behaviors like sycophancy and refusal. These results demonstrate that multi-layer circuit steering, enabled by enforcing geometric alignment among selected features, yields strictly more robust and effective behavioral control than static single-point interventions. Code is available at https://github.com/mehrshad-sdtn/CircuitSteer.
- Abstract（参考訳）: 大規模言語モデル(LLM)の振る舞いを制御することは、AIアライメントにとって重要な課題である。
Contrastive Activation Addition (CAA) のような既存のステアリング法は、一般に集合的活性化差から導かれる固定された単層的介入に依存している。
これらの手法は意味的に多様な入力に対して単一の介入を課し、しばしば階層間の一貫した振る舞いの変化を維持できず、操舵の有効性を制限します。
本研究では,スパースオートエンコーダ(SAE)を利用して複数の層に分散したコヒーレントなセマンティック回路を識別・操作する新しいフレームワークであるCircuitSteerを紹介する。
特徴コアクティベーションとデコーダ方向の幾何的アライメントに基づいて特徴フロー回路を構築することにより、ターゲットの動作に責任を負う特定の多層回路を分離する。
次に、これらのスパース特徴から高密度なステアリングベクトルを合成し、多点干渉を適用してモデルの内部意味軌道を導出する。
そこで我々はCircuitSteerを,2つのモデルファミリーにまたがる有害性,感情強度,筋力,拒絶といったさまざまなタスクのコントラスト例を用いて評価した。
競合するメソッドは、テキストの品質を犠牲にするか、カバレッジを欠いている。
これらの結果から,選択した特徴間の幾何的アライメントを強制することで,静的な単一点干渉よりも頑健で効果的な動作制御を実現できることが示唆された。
コードはhttps://github.com/mehrshad-sdtn/CircuitSteerで入手できる。
関連論文リスト
- Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation [6.897804369133787]
本稿では,Multitrack Music Transformer(MMT)の機械的解釈可能性について検討する。
我々は,このギャップを推論時アクティベーション・ステアリングによって埋めることなく,決定論的属性変調のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-17T08:04:13Z) - Passive Variable Impedance For Shared Control [9.4607769454218]
インピーダンス制御における可変剛性の安定化と異なる制御器の調停について検討する。
閉ループ系におけるパッシビティ違反を同定し,システムにパッシブ化を行う方法を提案する。
提案手法は,シミュレーションだけでなく,様々なシステムにおける実ロボット実験においても検証される。
論文 参考訳（メタデータ） (2026-04-22T13:39:39Z) - Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。
CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
論文 参考訳（メタデータ） (2026-04-16T01:21:14Z) - What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。
その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
論文 参考訳（メタデータ） (2026-04-09T17:57:14Z) - Primary-Fine Decoupling for Action Generation in Robotic Imitation [91.2899765310853]
ロボット操作動作シーケンスにおけるマルチモーダル分布は、模倣学習にとって重要な課題である。
PF-DAG(プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、PF-DAG)を提案する。
PF-DAGは、Adroit、DexArt、MetaWorldベンチマークの56タスクで最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-25T08:36:45Z) - Controllable and explainable personality sliders for LLMs at inference time [1.3688381983244782]
連続多次元パーソナリティ制御のためのモジュラーフレームワークを提案する。
我々の重要な革新は、逐次適応ステアリング(SAS)である。これは、先行介入によってシフトした残流上のその後のプローブをトレーニングすることで、ステアリングベクトルを変換する手法である。
我々は,ビッグファイブの性格特性に関する枠組みを検証し,ゴール順守とコヒーレンスの両方において,ナイーブ・ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-10T08:16:59Z) - Beyond Linear Steering: Unified Multi-Attribute Control for Language Models [8.223479896191145]
K-ステアリング(K-Steering)は、隠れたアクティベーションに対して単一の非線形マルチラベル分類器を訓練する統一的で柔軟なアプローチである。
これにより、線形性の仮定を回避し、別個のベクトル属性の保存とチューニングの必要性を排除し、再トレーニングなしに振る舞いの動的構成を可能にする。
アクティベーションに基づく分類器とLCMに基づく判定器の両方で検証された3つのモデルファミリーにおける実験結果から、K-ステアリングは複数の動作を正確に操る上で、強いベースラインより優れていることが証明された。
論文 参考訳（メタデータ） (2025-05-30T12:41:19Z) - Position-aware Automatic Circuit Discovery [59.64762573617173]
我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。
可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。
提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
論文 参考訳（メタデータ） (2025-02-07T00:18:20Z) - Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-28T02:12:30Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z) - A Framework for Automatic Behavior Generation in Multi-Function Swarms [1.290382979353427]
マルチファンクションスワムにおける自動行動生成のためのフレームワークを提案する。
フレームワークは3つの同時タスクでシナリオ上でテストされる。
MAP-elitesの挙動特性に及ぼすノイズの影響について検討した。
論文 参考訳（メタデータ） (2020-07-11T20:50:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。