Fugu-MT 論文翻訳(概要): High-probability guarantees for linear accessibility in feature superposition

論文の概要: High-probability guarantees for linear accessibility in feature superposition

arxiv url: http://arxiv.org/abs/2609.09556v1
Date: Wed, 09 Sep 2026 00:26:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.850543
Title: High-probability guarantees for linear accessibility in feature superposition
Title（参考訳）: 特徴重畳における線形アクセシビリティの高確率保証
Abstract要約: クロスフィーチャー干渉は、同時にアクティブな特徴の線形アクセシビリティを制限する。ガウス雑音下での固定支持に対する高確率境界を導出する。これらの結果は、スパースオートエンコーダ、構成一般化、神経解釈可能性を評価するためのフレームワークを提供する。
参考スコア（独自算出の注目度）: 0.2538209532048867
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural networks can leverage feature superposition to encode more concepts than dimensions, but cross-feature interference constrains the linear accessibility of simultaneously active features. By framing linear accessibility as a compressed sensing problem, we derive high-probability bounds for fixed supports under subgaussian noise, proving the sufficient dimension scales linearly ($d=O_{\varepsilon}(k \log m)$) rather than prior worst-case quadratic limits. We then validate these bounds across system parameters through Gaussian-tail approximations. These results quantify the geometric constraints of the linear representation hypothesis, providing a framework for evaluating sparse autoencoders, compositional generalization, and neural interpretability.
Abstract（参考訳）: ニューラルネットワークは特徴重畳を利用して次元よりも多くの概念を符号化するが、クロスフィーチャー干渉は同時にアクティブな特徴の線形アクセシビリティを制約する。線形アクセシビリティを圧縮されたセンシング問題としてフレーミングすることにより、直交雑音下での固定支持の高確率境界を導出し、それまでの最悪の二乗限界よりも、十分な次元スケール(d=O_{\varepsilon)(k \log m)$)を線形に証明する。次に、ガウステール近似を用いて、システムパラメータ間のこれらの境界を検証する。これらの結果は線形表現仮説の幾何学的制約を定量化し、スパースオートエンコーダ、構成一般化、神経解釈可能性を評価するための枠組みを提供する。

関連論文リスト

Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
論文参考訳（メタデータ） (2026-05-22T04:05:13Z)
CLT-Optimal Parameter Error Bounds for Linear System Identification [15.678542274795412]
現状の最先端境界は,システム同定の統計的複雑さを正確に捉えていないことを示す。具体的には、正規性を利用して、現在の境界が二乗パラメータエラーをオーバーステートする問題インスタンスのクラスを特定する。次に,パラメータ誤差の新たな2次分解により,OLSパラメータ誤差境界をシャープし,下位項を行列値マーチンゲールとする。
論文参考訳（メタデータ） (2026-04-23T04:25:35Z)
Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
論文参考訳（メタデータ） (2025-09-23T09:14:39Z)
GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent [12.409030267572243]
まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するため,アーキテクチャGLinSATを提案する。これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
論文参考訳（メタデータ） (2024-09-26T03:12:53Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Expressing linear equality constraints in feedforward neural networks [9.918927210224165]
制約が課される予測補助変数を持つ新しいサドル点ラグランジアンを導入する。補助変数の除去は、線形制約を満たすために導入されたラグランジュ乗算器上の双対最小化問題につながる。ラグランジュパラメータの驚くべき解釈は、制約から生じる固定重みを持つ無限層隠蔽単位として得られる。
論文参考訳（メタデータ） (2022-11-08T17:39:05Z)
Non-Linear Reinforcement Learning in Large Action Spaces: Structural Conditions and Sample-efficiency of Posterior Sampling [28.371541697552928]
一般作用空間を線形埋め込み性条件下で保持する非線形関数近似の最初の結果を示す。最悪の場合,RL問題のランクパラメータでスケールが保証される。
論文参考訳（メタデータ） (2022-03-15T20:50:26Z)
Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文参考訳（メタデータ） (2021-05-17T17:22:07Z)
Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文参考訳（メタデータ） (2020-03-02T16:40:36Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。