論文の概要: Behavioral Compositionality of Sparse Autoencoder Representations
- arxiv url: http://arxiv.org/abs/2610.21261v1
- Date: Thu, 15 Oct 2026 04:58:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.195702
- Title: Behavioral Compositionality of Sparse Autoencoder Representations
- Title（参考訳）: スパースオートエンコーダ表現の挙動構成性
- Abstract要約: SAE加算残差(SAE Additivity Residuals, SAR)を導入する。
SAE座標は比較的構成的行動記述をサポートするが、忠実な共同説明や介入は個々の特徴効果を超える相互作用を必要とする。
- 参考スコア（独自算出の注目度）: 16.830111208159902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse autoencoders (SAEs) represent model activations with sparse, linearly decoded features, but the downstream effects of those features need not compose additively. We introduce SAE Additivity Residuals (SAR), which measure the behavioral variation left unexplained above a chosen interaction order. Under independent feature subset sampling, population SAR is exactly the normalized energy of interactions above that order and bounds coalition ordering error for the optimal low order approximation. To distinguish compositionality associated with the SAE representation from that induced by downstream computation, we compare learned SAE coordinates with sum preserving random rotations of the same selected subspace and find lower first order residuals for the learned coordinates across all 18 model and behavior settings. The coordinates are nevertheless not fully additive: pairwise terms improve held out coalition ordering in every setting and outperform parameter matched models using randomly selected third order terms. In a combined steering experiment, pairwise modeling raises rank fidelity from 0.5874 to 0.7790 and reduces ordering error from 0.1444 to 0.0606. Together, these results show that SAE coordinates support comparatively compositional behavioral descriptions while faithful joint explanations and interventions still require interactions beyond individual feature effects. Code is available at https://github.com/OpenSAE/SAE-Behavioral-Compositionality.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)は、スパースで線形にデコードされた特徴を持つモデルアクティベーションを表すが、これらの特徴の下流効果は加法的に構成する必要はない。
SAE加算残差(SAE Additivity Residuals, SAR)を導入する。
独立な特徴部分集合サンプリングの下では、集団SARは、その順序以上の相互作用の正規化されたエネルギーであり、最適な低次近似に対する連立順序誤差を束縛する。
下流の計算によって引き起こされたSAE表現に付随する構成性を区別するため、学習されたSAE座標と、同じ選択されたサブ空間のランダムな回転を保存する和とを比較し、学習された座標の下位1次残差を18のモデルと行動設定で求める。
ペアワイズ項は、ランダムに選択された第3次項を使用して、パラメータマッチングされたモデルにマッチする全ての設定および性能において、連立順序を保留する。
複合ステアリング実験において、ペアワイズモデリングはランク忠実度を 0.5874 から 0.7790 に引き上げ、順序誤差を 0.1444 から 0.0606 に下げる。
これらの結果から,SAE座標は比較的構成的行動記述をサポートする一方で,忠実な共同説明や介入は個々の特徴効果を超える相互作用を必要とすることが明らかとなった。
コードはhttps://github.com/OpenSAE/SAE-Behavioral-Compositionalityで公開されている。
関連論文リスト
- What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions [9.545620331121663]
我々は、モデル出力に対する特定の介入の1次効果である介入帰属を推定する。
幅広い応答関数に対して、観察的特徴発見の証拠は一般にこの属性を特定せず、線形プローブ予測と介入帰属の間のギャップの正確な勾配に基づく分解を導出することを示す。
論文 参考訳（メタデータ） (2026-10-11T19:07:45Z) - Training-Free Transformer Merging via Sequential Local Operator Alignment [62.80152875963259]
トレーニングフリーのモデルマージは、ラベル付きデータにさらなる最適化を加えることなく、複数の微調整されたモデルを単一のモデルに組み合わせることを目的としている。
トランスでは、クエリキーと値出力演算子が合成行列に依存するため、個々のレイヤを独立にマージすることは、共有の注意に影響を与える可能性がある。
本稿では,部分的にマージされたモデルの実行経路に沿ってトランスフォーマーをマージするトレーニングフリーな手法であるSequential Local Operator Alignmentを紹介する。
論文 参考訳（メタデータ） (2026-10-05T14:30:28Z) - SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。
本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。
各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
論文 参考訳（メタデータ） (2026-09-29T09:38:29Z) - The Quadrilateral Loss: Additivity as a Measurable Behavior of Dense Neural Networks [0.0]
積算性を測定可能な振る舞いとして扱う4次的損失,すなわち微分可能なペナルティを導入する。
我々は, 正確な添加率, 構造マスク, 行動的ペナルティ, 体重減少, バックフィッティング, 共有断面モデル, バンチ強化切り株の経路を比較した。
論文 参考訳（メタデータ） (2026-07-22T14:23:37Z) - PACE: Polar Axis-Conditioned Estimation for PairUAV Relative Localization [0.0]
PairUAV 相対ローカライゼーションは2つのUAV画像を極航法コマンドにマップする。
ヘッダとレンジは同じペアのポーズコンテキストを共有し、それらを均質な座標として扱い、両方の出力に同じデコーダエビデンスと最適化状態を使用するように強制する。
本稿では,共有されたReloc3rスタイルのペア表現を保持しながら,軸特異的な読み出しインタフェースを割り当てる手法であるPolar Axis-Conditioned Estimationを導入する。
論文 参考訳（メタデータ） (2026-07-19T14:20:13Z) - Structural Kolmogorov-Arnold Convolutions: Learnable Function on the Values or the Filter Shape as Parameter-Efficient Alternative to Per-Edge Convolutional KANs [76.06235645266621]
Convolutional Kolmogorov--Arnold Networks (KAN) は、畳み込みカーネルの固定重みを学習可能な単変数関数に置き換える。
学習可能な関数は、各エッジよりも畳み込みのエンファン構造に置かれる方がよいと我々は主張する。
論文 参考訳（メタデータ） (2026-06-23T10:00:26Z) - SA-DVAE: Improving Zero-Shot Skeleton-Based Action Recognition by Disentangled Variational Autoencoders [7.618223798662929]
本稿では,分散変分オートエンコーダを用いたSA-DVAE-セマンティックアライメントを提案する。
このアイデアは,一対のモダリティ特異的変分オートエンコーダと全補正ペナルティによって実現される。
実験の結果,SA-DAVEは既存手法よりも性能が向上していることがわかった。
論文 参考訳（メタデータ） (2024-07-18T12:35:46Z) - Black Box Lie Group Preconditioners for SGD [13.30021794793606]
勾配降下の収束を加速するために,行列自由および低階近似プレコンディショナーを提案する。
パラメータ更新の学習速度とプレコンディショナリングのステップサイズは自然に正規化され、デフォルト値はほとんどの状況でうまく機能する。
論文 参考訳（メタデータ） (2022-11-08T18:07:08Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳（メタデータ） (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。