論文の概要: From Trait Vectors to Circuits: Tracing Refusal and Sycophancy Through Language Models

• arxiv url: http://arxiv.org/abs/2609.22224v1
• Date: Wed, 02 Sep 2026 21:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.79229
• Title: From Trait Vectors to Circuits: Tracing Refusal and Sycophancy Through Language Models
• Title（参考訳）: トラクションベクトルから回路へ:言語モデルによる拒絶とシクロファンシーの追跡
• Abstract要約: ステアリングは、修正されていないモデルの計算によって機能するか、異なるコンポーネントセットを介して機能するかを問う。 拒絶の場合、両方の回路はコンパクトで忠実である。 梅毒では、伝達はコンパクトだが、再建は広く、部分的には忠実である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A direction in activation space that changes safety-relevant behavior when steered is not necessarily one the model uses to produce that behavior on its own. We therefore ask whether steering acts through the computation of the unmodified model or through a different set of components, studying two traits whose directions have been extracted and validated in prior work: refusal and sycophancy in Qwen2.5-7B-Instruct. For each, we use the trait vector to split the computation into a reconstruction circuit before the vector and a transmission circuit after it. We then test whether restoring the coordinate returns behavior removed by ablation. For refusal, both circuits are compact and faithful, restoring the coordinate alone recovers almost all of the refusal signal lost to ablation, and a circuit built around the vector matches the faithfulness of a direct input-to-output circuit at roughly half the edges. For sycophancy, transmission is compact, but reconstruction is broader and only partially faithful. Circuits that transmit a steering intervention are therefore not automatically the circuits that produce the behavior, and we report the counterfactual, target, and behavioral test for every circuit accordingly.
• Abstract（参考訳）: ステアリング時の安全関連行動を変える活性化空間の方向は、モデルがそれ自身でその行動を生成するために使用するものとは限らない。 そこで我々は,未修正モデルの計算や異なる構成要素の計算を通じて,事前の作業で方向が抽出され,検証された2つの特性,すなわちQwen2.5-7B-インストラクトにおける拒絶とサイコフィナンシー(sycophancy)について,ステアリングが作用するかどうかを問う。 それぞれが特性ベクトルを用いて計算をベクトルの前の再構成回路とそれに続く伝送回路に分割する。 次に、座標の復元がアブレーションによって除去された振る舞いを返すかどうかをテストする。 リフレクションのために、両回路はコンパクトで忠実であり、座標を復元するだけで、アブレーションによって失われるほとんど全てのリフレクション信号が回復し、ベクトルの周りに構築された回路は、直接入出力回路の約半分の忠実さと一致する。 梅毒では、伝達はコンパクトだが、再建は広く、部分的には忠実である。 したがって、ステアリングの介入を伝達する回路は、その動作を自動で生成する回路ではない。

関連論文リスト

• CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits [3.6732711233211677]
  大規模言語モデル(LLM)の振る舞いを制御することは、AIアライメントにとって重要な課題である。 既存のステアリング法は、凝集活性化の相違から導かれる固定された単層干渉に依存する。 本稿では、スパースオートエンコーダを利用してコヒーレントなセマンティック回路を識別・操作する新しいフレームワークCircuitSteerを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T08:17:50Z)
• Circuit Claims Depend on What Is Extracted and How It Is Compared [10.373302428063091]
  保護動作は,どの回路が報告され,どのように2つの回路が比較されるかに依存するため,一つの回路を1つ残さない。 合成リーン戦術予測ベンチマークでこれを具体化する。 したがって、回路レベルのクレームは、どの回路が報告されたか、それを抽出するのに使用されるプルーニングしきい値、回路が比較されるレベルが1つある場合にのみ適切に定義される。
  論文  参考訳（メタデータ） (2026-07-21T10:04:29Z)
• Towards Verifiable Transformers: Solver-Checkable Circuit Explanations [0.23689955632456092]
  本稿では,タスクローカライズされたトランスフォーマー回路を有界,ソルバチェック可能なクレームに変換するためのフレームワークであるVerifiable Transformersを紹介する。 署名付きL1 BandNorm、スパースマックスアテンション、LeakyReLUを用いて、GPTスタイルのアーキテクチャで直接検証を行う。 また,タスクローカライズされた回路上でのサロゲートによる検証も行った。
  論文  参考訳（メタデータ） (2026-05-21T05:21:40Z)
• What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
  異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。 その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:57:14Z)
• Certified Circuits: Stability Guarantees for Mechanistic Circuits [80.30622018787835]
  Certified Circuitsは、回路発見のための証明可能な安定性を保証する。 ImageNetとOODデータセットでは、認定回路は91%高い精度を達成する。
  論文  参考訳（メタデータ） (2026-02-26T13:07:31Z)
• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Proto-Quipper with Reversing and Control [3.2748715105533024]
  ダガー対称モノイド圏 R を用いて可逆かつ制御可能な回路のセマンティクスを定式化する。 すべての回路が可逆かつ/または制御可能であるわけではないので、可逆性と制御性を追跡するためにモダリティを持つ型システムを用いる。
  論文  参考訳（メタデータ） (2024-10-29T17:22:01Z)
• Adversarial Circuit Evaluation [1.1893676124374688]
  文献中の3つの回路(IOI, Great-than, docstring)を対角的に評価した。 我々は,全モデルの出力と回路の出力とのKLのばらつきを測定し,再サンプリングアブレーションによって計算し,最悪の性能の入力を解析する。
  論文  参考訳（メタデータ） (2024-07-21T13:43:44Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。