論文の概要: HiPACE: Hierarchical Phase-Boundary Analysis and Controlled Evaluation of Feature Absorption in Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2609.29551v1
• Date: Wed, 26 Aug 2026 04:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.073425
• Title: HiPACE: Hierarchical Phase-Boundary Analysis and Controlled Evaluation of Feature Absorption in Sparse Autoencoders
• Title（参考訳）: HiPACE: スパースオートエンコーダの特徴吸収の階層的位相境界解析と制御による評価
• Abstract要約: 純粋な親の吸収は、純粋な子符号よりも安価であることを示す。 実SAE辞書における境界の構造的結果をテストする評価プロトコルであるHiPACEを紹介する。
• 参考スコア（独自算出の注目度）: 5.6611769062164905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) decompose LLM activations into sparse dictionary atoms, so that each distinct concept gets its own feature. One recurring behavior complicates this premise: feature absorption, in which a parent concept and its children--fruit and {apple, banana, pear}, say--collapse into a shared family direction. Prior work documents absorption empirically; missing is a closed-form prediction of when the shared direction is the cost-optimal representation of an active semantic family. This paper closes that gap. For a hierarchical Bernoulli generator with $k$ active children and residual scale $α$, the $L_0$-penalized reconstruction objective admits a closed-form phase boundary $λ_c(k,α)=α^2 k/(k-1)$: above it, pure parent absorption is strictly cheaper than pure child coding. Building on this boundary, we introduce HiPACE, an evaluation protocol that tests the boundary's structural consequence in real SAE dictionaries--measuring parent--child decoder structure over WordNet families, freezing the discovery-selected statistic before testing on unseen families, and contrasting genuine families against randomized sibling nulls. The boundary proves sharp in its native regime, predicting the synthetic transition within $\pm15%$ on all 30 tested cells. In Pythia-160m SAEs, the parent--child decoder gap recovers the predicted ordering with partial correlations up to $-0.93$ that sustain on the locked holdout and exclude sibling nulls ($p=0.002$). Controlled activation composition connects the theory's active-child count to the recovered family directions, and residual-stream interventions show that signed family directions increase parent-category logits, reversing under sign flip and vanishing under random controls--establishing causal sufficiency at the family-subspace level.
• Abstract（参考訳）: スパースオートエンコーダ(SAEs)は、LSMの活性化をスパース辞書原子に分解し、それぞれの異なる概念に独自の特徴を与える。 機能の吸収(英: feature absorption)とは、親のコンセプトとその子、フルーツ(英:fruit)、バナナ(英: banana)、ナシ(英: pear)、ナシ(英: pear)、ナシ(英: pear)が共有家族の方向へと崩壊する現象である。 不足は、共有方向がアクティブなセマンティックファミリーのコスト-最適表現であるときのクローズドフォーム予測である。 この論文はそのギャップを埋める。 活性児が$k$、残留スケールが$α$の階層的ベルヌーイ生成器の場合、$L_0$-penalized Restruction Object は閉形式位相境界が $λ_c(k,α)=α^2 k/(k-1)$ を許容する。 この境界の上に構築されたHiPACEは、実際のSAE辞書における境界の構造的結果をテストするための評価プロトコルであり、WordNetファミリー上の親子デコーダ構造を計測し、未知の家族でテストする前に発見選択された統計を凍結し、真の家族をランダムな兄弟ヌルと対比する。 境界線は自然界において鋭く、30の試験細胞上での合成転移を$\pm15%$で予測する。 Pythia-160m SAEでは、親子のデコーダギャップは、ロックされたホールドアウトを保った最大$-0.93$で予測順序を回復し、兄弟ヌル(p=0.002$)を除外する。 制御されたアクティベーション構成は、理論のアクティブな子数と回復した家族の方向を結びつけ、残ストリームの介入は、署名された家族の方向が親のカテゴリーのロジットを増加させ、符号フリップの下で反転し、ランダムな制御の下で消滅することを示し、家族とサブスペースレベルで因果関係を確立する。

関連論文リスト

• Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching [0.0]
  この研究は、条件生成の共通統計対象として対応する後続の$P(Xmid C)$を取る。 ドリフト変動オートエンコーダは、マスク付きエンコーダ$Z=E(C)$と、1つのきれいな予測フローマッチング損失を持つ条件付きフローデコーダを訓練する。
  論文  参考訳（メタデータ） (2026-08-25T20:38:50Z)
• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• Search as Computation Allocation [52.080489413778]
  多くのアルゴリズムは、決定を返す前に内部リソースを使い、その端末出力の品質によってのみ評価される。 終端計算割当問題などの手順を定式化する。 ベルマン方程式は、固定予算の下での最適割り当て、価格計算、正確な認証を特徴付ける。
  論文  参考訳（メタデータ） (2026-07-30T08:45:14Z)
• Are Single-Token Sparse Autoencoder Features Causally Necessary? Layer-Depth and SAE-Family Effects [1.630081999385542]
  1つの語彙項目でアクティベートするシングルトークン機能は、基底真理が直接比較を許可する診断ケースを提供する。 我々は6つのモデルと3つのSAEファミリーにまたがる3.9Mの特徴を全層深度でのゼロアブレーションを用いて分析した。
  論文  参考訳（メタデータ） (2026-07-22T17:33:16Z)
• Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models [9.503955118903454]
  必要条件診断を開発し、3つの双曲型視覚言語族を検査する。 すべての収束チェックポイントはユークリッド近傍に残っている。 曲率フロアのリリースは、このレギュレーションを離れることなく$c$と標準を変更します。 エンターメントコーンは不活性または飽和である。
  論文  参考訳（メタデータ） (2026-07-06T16:18:05Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Omnipredicting Single-Index Models with Multi-Index Models [9.794426212144453]
  単調なリプシッツリンク関数によって引き起こされる任意の損失に対して、$varepsilon$-competitive であるオムニプレクタを出力する学習者を与える。 我々のアルゴリズムでは,$approx varepsilon-4$サンプルをほぼ線形時間で実行し,リンク関数がbi-Lipschitzであれば$approx varepsilon-2$に改善する。
  論文  参考訳（メタデータ） (2024-11-20T07:20:49Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。