論文の概要: Learning to Add, Multiply, and Execute Algorithmic Instructions Exactly with Neural Networks

• arxiv url: http://arxiv.org/abs/2502.16763v2
• Date: Fri, 23 May 2025 14:53:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.839862
• Title: Learning to Add, Multiply, and Execute Algorithmic Instructions Exactly with Neural Networks
• Title（参考訳）: ニューラルネットワークによるアルゴリズム命令の追加、乗算、実行の学習
• Authors: Artur Back de Luca, George Giapitzakis, Kimon Fountoulakis,
• Abstract要約: 無限幅限界における2層完全連結ネットワークのトレーニング力学について検討する。 このようなモデルの十分な大規模なアンサンブルが、高い確率で正確に実行するためにどのように訓練されるかを示す。 対数的に多くのトレーニングデータだけを用いて効率よく達成できることを示します。
• 参考スコア（独自算出の注目度）: 5.3800094588915375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are known for their ability to approximate smooth functions, yet they fail to generalize perfectly to unseen inputs when trained on discrete operations. Such operations lie at the heart of algorithmic tasks such as arithmetic, which is often used as a test bed for algorithmic execution in neural networks. In this work, we ask: can neural networks learn to execute binary-encoded algorithmic instructions exactly? We use the Neural Tangent Kernel (NTK) framework to study the training dynamics of two-layer fully connected networks in the infinite-width limit and show how a sufficiently large ensemble of such models can be trained to execute exactly, with high probability, four fundamental tasks: binary permutations, binary addition, binary multiplication, and Subtract and Branch if Negative (SBN) instructions. Since SBN is Turing-complete, our framework extends to computable functions. We show how this can be efficiently achieved using only logarithmically many training data. Our approach relies on two techniques: structuring the training data to isolate bit-level rules, and controlling correlations in the NTK regime to align model predictions with the target algorithmic executions.
• Abstract（参考訳）: ニューラルネットワークはスムーズな関数を近似する能力で知られているが、離散的な操作で訓練された場合、見当たらない入力に完全に一般化することができない。 このような操作は、ニューラルネットワークにおけるアルゴリズム実行のテストベッドとしてよく使用される算術のようなアルゴリズムタスクの中心にある。 ニューラルネットワークはバイナリエンコードされたアルゴリズム命令を正確に実行することを学べますか? 我々は、NTK(Neural Tangent Kernel)フレームワークを用いて、無限幅の制限下での2層完全連結ネットワークのトレーニング力学を研究し、そのようなモデルの十分な大規模なアンサンブルが、高い確率で正確に実行できるように、どのようにトレーニングできるかを示す。 SBNはチューリング完全であるため、我々のフレームワークは計算可能関数にまで拡張される。 対数的に多くのトレーニングデータだけを用いて効率よく達成できることを示します。 提案手法は,ビットレベルのルールを分離するためのトレーニングデータの構築と,モデル予測と対象のアルゴリズム実行との相関関係の制御という2つの手法に依存する。

関連論文リスト

• Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms [0.46040036610482665]
  一般化線形分類器の多段階学習法を提案する。 検証エラーは不要な入力のプルーニングによって最小化される。 所望の出力は、Ho-Kashyapルールに似た方法で改善される。
  論文  参考訳（メタデータ） (2023-08-11T16:48:31Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Quantum Extremal Learning [0.8937790536664091]
  本稿では,関数出力を極大化する隠れ関数への入力を見つける過程である「極大学習のための量子アルゴリズム」を提案する。 量子エクストリームラーニング(quantum extremal Learning, QEL)と呼ばれるこのアルゴリズムは、データ入力と出力の関係をモデル化するために変分訓練されたパラメトリック量子回路で構成されている。
  論文  参考訳（メタデータ） (2022-05-05T17:37:26Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)
• Neural networks behave as hash encoders: An empirical study [79.38436088982283]
  ReLUライクなアクティベーションを持つニューラルネットワークの入力空間は、複数の線形領域に分割される。 このパーティションは、さまざまなディープラーニングモデルで以下のエンコーディング特性を示すことを実証します。 K$-Means、$K$-NN、およびロジスティック回帰などの単純なアルゴリズムは、トレーニングデータとテストデータの両方でかなり優れたパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2021-01-14T07:50:40Z)
• A case where a spindly two-layer linear network whips any neural network with a fully connected input layer [24.132345589750592]
  勾配降下によるスパース目標を効率的に学習するために,スパース入力層が必要であることを示す。 驚くべきことに、同じタイプの問題は、単純な2層線形ニューラルネットワークによって大幅に効率良く解決できる。
  論文  参考訳（メタデータ） (2020-10-16T20:49:58Z)
• Why Are Convolutional Nets More Sample-Efficient than Fully-Connected Nets? [33.51250867983687]
  標準学習アルゴリズムにおいて、証明可能なサンプル複雑性のギャップを示すことができる自然なタスクを示す。 単一の対象関数を示し、可能なすべての分布について、$O(1)$対$Omega(d2/varepsilon)$ギャップを学習する。 同様の結果が$ell$回帰およびAdamやAdaGradといった適応型トレーニングアルゴリズムに対して達成される。
  論文  参考訳（メタデータ） (2020-10-16T17:15:39Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。