論文の概要: Linear-Readout Floors and Threshold Recovery in Computation in Superposition

• arxiv url: http://arxiv.org/abs/2605.01192v1
• Date: Sat, 02 May 2026 02:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.632186
• Title: Linear-Readout Floors and Threshold Recovery in Computation in Superposition
• Title（参考訳）: 重ね合わせ計算における線形読み出しフロアと閾値回復
• Authors: Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó,
• Abstract要約: 重ね合わせにおける計算に対する最近の2つのアプローチは、異なるキャパシティレジームに到達している。 これらの結果は異なるインターフェース不変性を維持するため矛盾しない。 Hnniテンプレート以外のロバストな非線形リセットは開のままである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two recent approaches to computation in superposition reach different recursive capacity regimes: Hänni et al. certify $\tilde{O}(d^{3/2})$ computable features in width $d$ via an approximate-linear recursive template, while Adler and Shavit reach near-quadratic capacity (up to logarithmic factors) using thresholded Boolean recovery. The main contribution of this paper is conceptual: we argue these results are not contradictory because they maintain different interface invariants, and we formalize the distinction. As a tool, we record a rank-trace Welch-type lower bound for biorthogonal linear readouts: for $F \gg d$, the worst-case off-diagonal cross-talk of any unit-diagonal linear readout is $Ω(d^{-1/2})$, and the bound is tight on average for unit-norm tight frames. At quadratic feature load $F=d^2$, random-support threshold recovery succeeds for sparsities $s=O(d/\log d)$, while linear readouts still incur $Ω(s/d)$ average per-coordinate squared error on Bernoulli sparse states. Matching the Welch floor against the published tolerance of the Hänni correction layer explains the $d^{3/2}$ scale as a compatibility threshold for that template, not a universal upper bound. Robust nonlinear reset beyond the Hänni template is left open.
• Abstract（参考訳）: Hänni et al certify $\tilde{O}(d^{3/2})$computable features in width $d$ via a almost-linear recursive template, and Adler and Shavit reach near-quadratic capacity (to logarithmic factors) using thresholded Boolean recovery。 この論文の主な貢献は概念的であり、これらの結果は異なるインターフェース不変性を維持しているため矛盾しないと主張し、その区別を定式化する。 ツールとしては,生物直交線形リードアウトに対するランクトレースウェルチ型ローバウンドを記録する:$F \gg d$の場合,任意の単対角線形リードアウトの最悪のオフ対角クロストークは$Ω(d^{-1/2})$であり,そのバウンドは単位ノルムのタイトフレームに対して平均的に厳密である。 二次的特徴負荷$F=d^2$では、ランダムサポートしきい値回復はスパース$s=O(d/\log d)$で成功するが、線形読み出しはまだ$Ω(s/d)$で、Bernolli sparse状態における平均コーディネート2乗誤差が生じる。 ヘルヒフロアとヘンニ補正層の許容値とを照合すると、$d^{3/2}$スケールはそのテンプレートの互換性しきい値として説明され、普遍的な上限ではない。 ヘンニテンプレート以外のロバスト非線形リセットは開である。

関連論文リスト

• Hardness of High-Dimensional Linear Classification [58.29089693778071]
  我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。 どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
  論文  参考訳（メタデータ） (2026-03-19T15:53:41Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
  パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。 次に、降下によって訓練された線形ネットワークについて研究する。
  論文  参考訳（メタデータ） (2025-09-25T13:59:22Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Variance-aware robust reinforcement learning with linear function approximation with heavy-tailed rewards [6.932056534450556]
  AdaOFUL と VARA という2つのアルゴリズムを,重み付き報酬の存在下でのオンラインシーケンシャルな意思決定のために提案する。 AdaOFULは、$widetildemathcalObigの最先端の後悔境界を達成する。 VarA は $widetildemathcalO(dsqrtHmathcalG*K)$ のより厳密な分散を考慮した後悔境界を達成する。
  論文  参考訳（メタデータ） (2023-03-09T22:16:28Z)
• Projection-free Graph-based Classifier Learning using Gershgorin Disc Perfect Alignment [59.87663954467815]
  グラフベースのバイナリ学習では、既知のラベルのサブセット$hatx_i$を使って未知のラベルを推論する。 ラベルの$x_i$をバイナリ値に制限する場合、問題はNPハードである。 代わりに線形プログラム(LP)の列を解くことにより,高速なプロジェクションフリー手法を提案する。
  論文  参考訳（メタデータ） (2021-06-03T07:22:48Z)
• Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
  線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。 線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。 線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
  論文  参考訳（メタデータ） (2021-01-29T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。