論文の概要: Mathematical Models of Computation in Superposition

• arxiv url: http://arxiv.org/abs/2408.05451v1
• Date: Sat, 10 Aug 2024 06:11:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 19:01:07.695457
• Title: Mathematical Models of Computation in Superposition
• Title（参考訳）: 重ね合わせ計算の数学的モデル
• Authors: Kaarel Hänni, Jake Mendel, Dmitry Vaintrob, Lawrence Chan,
• Abstract要約: 重ね合わせは、現在のAIシステムを機械的に解釈する上で深刻な課題となる。 重ね合わせにおけるエンフン計算の数学的モデルを提案し, 重ね合わせはタスクを効率的に遂行するのに有効である。 我々は、重ね合わせで計算を実装するニューラルネットワークを解釈する研究の潜在的な応用について、結論付けている。
• 参考スコア（独自算出の注目度）: 0.9374652839580183
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Superposition -- when a neural network represents more ``features'' than it has dimensions -- seems to pose a serious challenge to mechanistically interpreting current AI systems. Existing theory work studies \emph{representational} superposition, where superposition is only used when passing information through bottlenecks. In this work, we present mathematical models of \emph{computation} in superposition, where superposition is actively helpful for efficiently accomplishing the task. We first construct a task of efficiently emulating a circuit that takes the AND of the $\binom{m}{2}$ pairs of each of $m$ features. We construct a 1-layer MLP that uses superposition to perform this task up to $\varepsilon$-error, where the network only requires $\tilde{O}(m^{\frac{2}{3}})$ neurons, even when the input features are \emph{themselves in superposition}. We generalize this construction to arbitrary sparse boolean circuits of low depth, and then construct ``error correction'' layers that allow deep fully-connected networks of width $d$ to emulate circuits of width $\tilde{O}(d^{1.5})$ and \emph{any} polynomial depth. We conclude by providing some potential applications of our work for interpreting neural networks that implement computation in superposition.
• Abstract（参考訳）: 重ね合わせ — ニューラルネットワークが次元よりも‘features’を表現している場合 — は、現在のAIシステムを機械的に解釈する上で、深刻な課題となるように思われる。 既存の理論研究は \emph{representational} 重ね合わせの研究であり、重畳はボトルネックを通して情報を渡すときにのみ用いられる。 本研究は, 重ね合わせがタスクの効率向上に有効である, 重ね合わせにおける 'emph{computation} の数学的モデルを提案する。 まず、$m$ の各特徴の $\binom{m}{2}$ ペアの AND を取る回路を効率的にエミュレートするタスクを構築する。 重ね合わせを用いた1層型MLPを構築し、この処理を最大$\varepsilon$-errorで実行し、入力特徴が重ね合わせのemph{themselves}であっても、ネットワークは$\tilde{O}(m^{\frac{2}{3}})$のニューロンのみを必要とする。 我々は、この構成を低深さの任意のスパースブール回路に一般化し、次に、幅$d$の深い完全接続ネットワークを、幅$\tilde{O}(d^{1.5})$と\emph{any}多項式深さの回路をエミュレートする「エラー補正」層を構築する。 我々は、重ね合わせで計算を実装するニューラルネットワークを解釈する研究の潜在的な応用について、結論付けている。

関連論文リスト

• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• On the Complexity of Neural Computation in Superposition [3.9803704378699103]
  ニューラルネットワークの理解の最近の進歩は、重畳が大規模ネットワークの計算効率の根底にある重要なメカニズムであることを示唆している。 ペアワイズのような論理演算は、$O(sqrtm' log m')$ ニューロンと$O(m' log2 m')$パラメータで計算できる。 本研究は,ニューラルネットワークの解釈可能性研究における複雑性理論手法の活用の道を開くものである。
  論文  参考訳（メタデータ） (2024-09-05T18:58:59Z)
• Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations [40.77319247558742]
  目的関数 $f_*:mathbbRdtomathbbR$ を加法構造で学習する際の計算複雑性について検討する。 2層ニューラルネットワークの勾配学習により,$f_*$の大規模なサブセットを効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:17Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。 無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Why should autoencoders work? [1.6317061277457001]
  ディープニューラルネットワークオートエンコーダは、モデルリダクションに日常的に使用される。 このテクニックが"動作する"ことが分かり、この効果を説明する方法があるかどうかを問うことになる。
  論文  参考訳（メタデータ） (2023-10-03T17:53:43Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
  フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。 このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T05:25:23Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。