Fugu-MT 論文翻訳(概要): Structural Instability of Feature Composition

論文の概要: Structural Instability of Feature Composition

arxiv url: http://arxiv.org/abs/2605.05223v1
Date: Sat, 18 Apr 2026 05:53:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-11 06:56:26.611775
Title: Structural Instability of Feature Composition
Title（参考訳）: 特徴成分の構造不安定性
Authors: Yunpeng Zhou,
Abstract要約: 球状辞書モデルに基づく合成-崩壊しきい値について検討する。高バイアス状態においては、ReLUは顕微鏡的相関による変動変動を系統的なドリフトに変換する。 CLEVRから抽出した構造化セマンティックな特徴に対するスケーリングの予測傾向を検証した。
参考スコア（独自算出の注目度）: 2.5754366051855837
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sparse Autoencoders (SAEs) have emerged as a powerful paradigm for disentangling feature superposition in transformer-based architectures, enabling precise control via activation steering. However, the theoretical foundations of compositional steering -- the simultaneous activation of distinct semantic latents -- remain under-explored. The prevailing Linear Representation Hypothesis often abstracts away non-linear interference effects that arise in overcomplete dictionaries. We present a geometric framework for analyzing the instability of feature unions. Modeling the activation space as a high-dimensional sparse cone manifold, we derive an asymptotic compositional-collapse threshold under a spherical dictionary model, characterized by the Gaussian mean width (statistical dimension) of the signal cone. We further show that, in the high-bias regime, ReLU rectification converts microscopic correlation-induced variance fluctuations into a systematic drift that accumulates under composition, yielding interference growth consistent with a ratchet effect. We validate the predicted scaling trends on structured semantic features extracted from CLEVR, where hierarchical correlations accelerate the transition relative to random baselines. Together, our results highlight geometric constraints on the scalability of union-based steering and motivate composition mechanisms that explicitly manage interference beyond naive linear superposition.
Abstract（参考訳）: スパースオートエンコーダ (SAE) は、トランスフォーマーベースのアーキテクチャにおいて特徴重畳を解消する強力なパラダイムとして登場し、アクティベーションステアリングによる正確な制御を可能にしている。しかし、構成的ステアリングの理論的基礎 -- 異なる意味的潜伏剤の同時活性化 -- は未解明のままである。一般的な線形表現仮説は、オーバーコンプリート辞書で生じる非線形干渉効果を抽象化することが多い。特徴結合の不安定性を解析するための幾何学的枠組みを提案する。活性化空間を高次元スパースコーン多様体としてモデル化し,信号円錐のガウス平均幅(統計次元)を特徴とする球状辞書モデルの下での漸近合成崩壊閾値を導出する。さらに,高バイアス条件下では,ReLU整流は顕微鏡的相関による変動変動を,組成下で蓄積する系統的ドリフトに変換し,干渉成長をラチェット効果と整合させることを示した。 CLEVRから抽出した構造的セマンティックな特徴のスケーリング傾向について,階層的相関によってランダムなベースラインに対する遷移が促進されるという予測的傾向を検証した。本研究は, 結合型ステアリングのスケーラビリティに関する幾何学的制約と, 有意な線形重ね合わせ以上の干渉を明示的に管理する動機付け構成機構について考察した。

関連論文リスト

Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2026-04-18T10:50:46Z)
Non-monotonic causal discovery with Kolmogorov-Arnold Fuzzy Cognitive Maps [0.40611352512781856]
ファジィ認知マップ(英: Fuzzy Cognitive Maps)は、複雑な力学系をモデル化するためのニューロシンボリックパラダイムである。本研究は, 因果伝達機構を再定義する新しいアーキテクチャであるKolmogorov-Arnold Fuzzy Cognitive Map (KA-FCM)を提案する。
論文参考訳（メタデータ） (2026-04-06T19:56:12Z)
Certified Quantum Schrödinger Control via Hierarchical Tucker Models [2.033424698590539]
本稿では,固定ランクHTプロジェクションで実装したサンプルデータフィードバック制御のためのフレームワークを開発する。各トランケーションを名目閉ループの有界なランク依存として見ることにより、HT射影力学は事実上指数関数的に安定であることを示す。
論文参考訳（メタデータ） (2026-03-20T17:46:50Z)
OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
論文参考訳（メタデータ） (2026-03-08T03:05:16Z)
MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
論文参考訳（メタデータ） (2026-02-04T09:14:09Z)
FlexCausal: Flexible Causal Disentanglement via Structural Flow Priors and Manifold-Aware Interventions [1.7114074082429929]
因果解離表現学習(Causal Disentangled Representation Learning)は、観測から低次元表現を学習し、解離することを目的とする。本稿では,ブロック対角共分散VAEに基づく新しいCDRLフレームワークFlexCausalを提案する。本フレームワークは,学習した潜在部分空間と基底-真理因果関係の正確な構造的対応を保証する。
論文参考訳（メタデータ） (2026-01-29T11:30:53Z)
SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文参考訳（メタデータ） (2026-01-06T19:47:11Z)
Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文参考訳（メタデータ） (2026-01-05T08:04:33Z)
On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation [47.38557855930304]
明示的な潜在変数モデルは、データ合成のための柔軟だが強力なフレームワークを提供する。既存のアプローチは、両方の正規化目標を共同で最小化するのに苦労していることを示す。適切な属性変換は、目標潜在次元の可制御性と正則化の両方を達成するのに有効であることを示す。
論文参考訳（メタデータ） (2025-11-10T14:09:25Z)
Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文参考訳（メタデータ） (2025-10-09T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。