論文の概要: Compressed Computation is (probably) not Computation in Superposition

• arxiv url: http://arxiv.org/abs/2606.14673v1
• Date: Fri, 12 Jun 2026 17:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:43.017036
• Title: Compressed Computation is (probably) not Computation in Superposition
• Title（参考訳）: 圧縮計算は(おそらく)重ね合わせの計算ではない
• Authors: Jai Bhagat, Sara Molas-Medina, Giorgi Giglemiani, Stefan Heimersheim,
• Abstract要約: このモデルでは,ラベル内の意図しない混合行列に対応して,雑音の残差ストリームを介して入力を混合することを示す。 その結果、CCは重ね合わせの計算に適さないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.5805667358535304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study whether the Compressed Computation (CC) toy model (Braun et al., 2025) is an instance of computation in superposition. The CC model appears to compute 100 ReLU functions with just 50 neurons, achieving a better loss than expected from only representing 50 ReLU functions. We show that the model mixes inputs via its noisy residual stream, corresponding to an unintended mixing matrix in the labels. Splitting the training objective into the ReLU term and the mixing term, we find that performance gains scale with the magnitude of the mixing matrix and vanish when the matrix is removed. The learned neuron directions concentrate in the subspace associated with the top 50 eigenvalues of the mixing matrix, suggesting that the mixing term governs the solution. Finally, a semi-non-negative matrix factorization (SNMF) baseline derived solely from the mixing matrix reproduces the qualitative loss profile and improves on prior baselines, though it does not match the trained model. These results suggest CC is not a suitable toy model of computation in superposition.
• Abstract（参考訳）: 我々は,圧縮計算(CC)玩具モデル (Braun et al , 2025) が重ね合わせ計算の例であるかどうかを検討した。 CCモデルは、たった50個のニューロンで100個のReLU関数を計算し、50個のReLU関数だけを表わすことで予想以上に損失を被る。 このモデルでは,ラベル内の意図しない混合行列に対応して,雑音の残差ストリームを介して入力を混合することを示す。 学習目標をReLU項と混合項に分割すると, 混合行列の大きさで性能が向上し, マトリックスを除去すると消滅することがわかった。 学習されたニューロン方向は、混合行列のトップ50固有値に関連する部分空間に集中しており、混合項が溶液を支配していることを示唆している。 最後に、混合行列からのみ派生した半負行列分解(SNMF)ベースラインは、定性的損失プロファイルを再現し、訓練されたモデルと一致しないが、事前ベースラインを改善する。 これらの結果から, CCは重ね合わせ計算に適した玩具モデルではないことが示唆された。

関連論文リスト

• Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search [0.0]
  畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。 この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。 ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
  論文  参考訳（メタデータ） (2024-08-12T09:24:48Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
  予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。 変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
  論文  参考訳（メタデータ） (2022-03-02T15:36:44Z)
• Nonlinear Matrix Approximation with Radial Basis Function Components [0.06922389632860546]
  本稿では,放射基底関数 (RBF) 成分の和への分解による行列近似の導入と検討を行う。 提案手法は, 行列型に同じ$L$-errorで近似するために必要なメモリを劇的に削減し, SVDよりも高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:37:41Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)
• Mixture model for designs in high dimensional regression and the LASSO [0.0]
  LASSOは、回帰モデル bean y & = & Xbeta + z, eean における変数選択の技法である。 本稿では,カラムの潜在的クラスタ化の性質を自然な方法で捉えることができる設計行列の混合モデルを提案する。
  論文  参考訳（メタデータ） (2012-10-17T15:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。