論文の概要: Strength Controls Change How Interventions Compare Across Sparse Autoencoder Codes

• arxiv url: http://arxiv.org/abs/2610.26489v1
• Date: Mon, 19 Oct 2026 14:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:56:29.151922
• Title: Strength Controls Change How Interventions Compare Across Sparse Autoencoder Codes
• Title（参考訳）: インターベンションがスパースオートエンコーダコード間で比較する強度制御
• Abstract要約: オートエンコーダコードの変更は、介入方向とマグニチュードの両方を変えることができる。 ノームマッチングと出力キャリブレーションは異なる制御を提供する。 Gemma と Llama の固定特徴群に対するこれらの制御による介入効果の比較を行った。
• 参考スコア（独自算出の注目度）: 18.071860573159807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Changing sparse autoencoder (SAE) codes can alter both intervention direction and magnitude, so comparing intervention effects requires a strength control specifying what is held equal. Norm matching and output calibration provide different controls, but whether interventions yield different effects across codes after strength matching remains unclear. We compare intervention effects under these controls for fixed feature groups in Gemma and Llama and observe: (1) Whole-patch scaling. With one coefficient per input, full-output Kullback-Leibler (KL) calibration leaves smaller mean effect gaps from the encoder-based reference intervention than total-norm matching for nonnegative least-squares (NNLS) refits. On new Llama inputs, total-norm matching loses 11 reference transfers, whereas full-output calibration preserves every transfer decision. (2) Positionwise scaling. On a small matched gender-agreement subset, positionwise norm matching leaves smaller observed mean gaps than full-output calibration. (3) Answer exclusion. Compared with unscaled NNLS, answer-excluded calibration reduces gaps in the measured subject-verb agreement comparisons but increases them for gender refits. Full-output KL calibration also reduces larger gaps for norm-matched constructed candidates, although matching coverage is incomplete in several settings. Since calibration uses the evaluated input's outputs, it serves as a diagnostic of residual disagreement.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)コードの変更は、介入方向と大きさの両方を変えることができるため、干渉効果の比較には、同じ状態にあるものを指定する強度制御が必要である。 ノームマッチングと出力キャリブレーションは異なる制御を提供するが、介入が強度マッチング後にコード間で異なる効果をもたらすかどうかは不明である。 Gemma と Llama の固定特徴群に対するこれらの制御下での介入効果を比較し,(1) 全パッチスケーリングを観察する。 入力毎の1つの係数で、フル出力のKullback-Leibler (KL) キャリブレーションは、非負の最小二乗法(NNLS)に対する全ノルムマッチングよりも、エンコーダベースの参照介入による平均効果ギャップを小さくする。 新しいLlama入力では、全ノルムマッチングは11の参照転送を失うが、フルアウトプットキャリブレーションはすべての転送決定を保存する。 2) 水平方向のスケーリング。 小さな一致した性差サブセットでは、ポジションワイドのノルムマッチングはフルアウトプット校正よりも観測平均ギャップが小さい。 (3) 回答除外 未スケールのNNLSと比較すると、回答を除いたキャリブレーションは、測定対象と副詞の合意比較のギャップを減らし、性別の調整に役立てる。 完全出力KLキャリブレーションは、いくつかの設定でカバー範囲が不完全であるにもかかわらず、標準マッチングされた構築候補のギャップを小さくする。 キャリブレーションは評価された入力の出力を使用するため、残留不一致の診断として機能する。

関連論文リスト

• RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention [47.07332342240102]
  RoLaQは、凍結鍵と値投影によって定義される部分空間内の共有回転を洗練する。 DeepSeek-V2-Liteでは、SGLangの実装は同じメモリ予算でBF16 KVの3.96倍の容量を提供する。
  論文  参考訳（メタデータ） (2026-10-14T16:46:48Z)
• When Does Compensating Inherited Quantization Error Help? Mean-Square Guarantees for Layer-Wise Quantization and Their Limits [2.944323057176686]
  各層が以前の層から受け継いだ量子化誤差を補うことができる。 我々は、そのような補償がネットワーク出力エラーをそれ無しで保証する前提を問う。
  論文  参考訳（メタデータ） (2026-10-12T00:41:39Z)
• Advantage Scale Calibration Imbalance in Group-Relative Optimization under Low-Variance Rewards: Diagnosis and Bounded Recovery [2.7787094635105185]
  検証器スタイルのRLVRでは、グループ相対最適化は実装の詳細として有利なスケールを扱うことが多い。 そこで我々は,同じグループ内スケールディノミネータが,報酬分岐強度,プロンプトレベルバッチウェイト,および,報酬分岐が元の基準スケールで再表現されたときに誘導される有効KLキャリブレーションを同時に決定する,有利な3方向キャリブレーションインタフェースを提案する。
  論文  参考訳（メタデータ） (2026-08-27T04:17:29Z)
• When Unpaired Sets Support Shared-Corruption Calibration: Moment Geometry and Two-Sample Precision [5.254084723324815]
  観測間で共有される所定の低次元補正のために、観測およびクリーン参照セットは、固定モーメントの応答を通してのみ推論をサポートする。 この問題を2サンプルのモーメントキャリブレーションとして定式化し、局所的なランク、スケールされたモーメント感度、ソース境界共分散、モーメント整合性残差を組み合わせたランク認識情報状態について報告する。
  論文  参考訳（メタデータ） (2026-08-11T04:39:54Z)
• Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift [7.333172294727063]
  一般的な信頼性校正法は、トレーニングとテストデータは独立で、同一に分散されていると仮定する。 本稿では、対象領域の信頼性を校正するために、教師なし領域適応損失を提案する。 予測誤差 (ECE) と同一のサンプル量を持つECL損失を計算し, ECL損失に対する理論的根拠付きミニバッチトレーニング可能なスキームを提供する。
  論文  参考訳（メタデータ） (2026-05-20T11:45:39Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。