論文の概要: Uncovering a Universal Abstract Algorithm for Modular Addition in Neural Networks

• arxiv url: http://arxiv.org/abs/2505.18266v1
• Date: Fri, 23 May 2025 18:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.312541
• Title: Uncovering a Universal Abstract Algorithm for Modular Addition in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるモジュール付加のためのユニバーサル抽象アルゴリズムの発見
• Authors: Gavin McCracken, Gabriela Moisescu-Pareja, Vincent Letourneau, Doina Precup, Jonathan Love,
• Abstract要約: モジュラ付加の単純なタスクで観測されたニューラルネットワークソリューションは、共通の抽象アルゴリズムの下で統一されていることを示す。 我々の理論はディープニューラルネットワーク(DNN)に当てはまる トレーニング可能な埋め込みまたは複数の隠蔽層を持つDNNにおける普遍的に学習された解は、O(log n)機能のみを必要とすると予測する。
• 参考スコア（独自算出の注目度）: 29.838715657292365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a testable universality hypothesis, asserting that seemingly disparate neural network solutions observed in the simple task of modular addition are unified under a common abstract algorithm. While prior work interpreted variations in neuron-level representations as evidence for distinct algorithms, we demonstrate - through multi-level analyses spanning neurons, neuron clusters, and entire networks - that multilayer perceptrons and transformers universally implement the abstract algorithm we call the approximate Chinese Remainder Theorem. Crucially, we introduce approximate cosets and show that neurons activate exclusively on them. Furthermore, our theory works for deep neural networks (DNNs). It predicts that universally learned solutions in DNNs with trainable embeddings or more than one hidden layer require only O(log n) features, a result we empirically confirm. This work thus provides the first theory-backed interpretation of multilayer networks solving modular addition. It advances generalizable interpretability and opens a testable universality hypothesis for group multiplication beyond modular addition.
• Abstract（参考訳）: 本稿では、モジュラー加算の単純なタスクで観測される一見異なるニューラルネットワーク解が、共通の抽象アルゴリズムの下で統一されていることを主張する、テスト可能な普遍性仮説を提案する。 以前の研究では、ニューロンレベルの表現のバリエーションを、異なるアルゴリズムの証拠として解釈する一方で、ニューロン、ニューロンクラスタ、ネットワーク全体にわたるマルチレベル解析を通じて、多層パーセプトロンとトランスフォーマーが、私たちが近似中国のRemainder Theoremと呼ぶ抽象アルゴリズムを普遍的に実装することを実証した。 重要なことは、近似コセットを導入し、ニューロンがそれらにのみ活性化することを示す。 さらに、私たちの理論はディープニューラルネットワーク(DNN)にも当てはまる。 トレーニング可能な埋め込みあるいは複数の隠蔽層を持つDNNにおける普遍的に学習された解は、O(log n)機能のみを必要とすると予測し、その結果を経験的に確認する。 この研究は、モジュラー加算を解く多層ネットワークの理論的支援による最初の解釈を提供する。 一般化可能な解釈可能性を進め、モジュラー加法を超えた群乗法に対するテスト可能な普遍性仮説を開く。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
  暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。 我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-04T17:51:08Z)
• Fourier Circuits in Neural Networks and Transformers: A Case Study of Modular Arithmetic with Multiple Inputs [35.212818841550835]
  一層ニューラルネットワークと一層トランスフォーマーの研究を行った。 1つの隠れた層ニューラルネットワークは、データセット上で最大$L_2,k+1$-marginに達する。 同様の計算機構を1層変換器に注意して観察する。
  論文  参考訳（メタデータ） (2024-02-12T05:52:06Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
  対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。 以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。 これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-01-11T17:57:33Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• A note on the complex and bicomplex valued neural networks [0.0]
  まず、複素多値ニューラルネットワーク(CMVNN)のパーセプトロン収束アルゴリズムの証明を記述する。 我々の第一の目的は、両複素多値ニューラルネットワーク(BMVNN)のパーセプトロン収束アルゴリズムを定式化し、証明することである。
  論文  参考訳（メタデータ） (2022-02-04T19:25:01Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。