論文の概要: Compiling to linear neurons
- arxiv url: http://arxiv.org/abs/2511.13769v1
- Date: Fri, 14 Nov 2025 22:19:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:52.703514
- Title: Compiling to linear neurons
- Title（参考訳）: 線形ニューロンへのコンパイル
- Authors: Joey Velez-Ginorio, Nada Amin, Konrad Kording, Steve Zdancewic,
- Abstract要約: ニューラルネットワークを直接プログラムするわけではない。代わりに、学習アルゴリズムがデータから学習することでニューラルネットワークの機能を決定する、間接的なスタイルに依存している。
これらのアルゴリズムがネットワークの学習に役立つとしても、ほとんどのアルゴリズムをニューラルネットワークにコンパイルすることはできない。
型付きで高階の線形プログラミング言語であるtextsfCajal$を紹介します。
- 参考スコア（独自算出の注目度）: 0.5249805590164902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We don't program neural networks directly. Instead, we rely on an indirect style where learning algorithms, like gradient descent, determine a neural network's function by learning from data. This indirect style is often a virtue; it empowers us to solve problems that were previously impossible. But it lacks discrete structure. We can't compile most algorithms into a neural network -- even if these algorithms could help the network learn. This limitation occurs because discrete algorithms are not obviously differentiable, making them incompatible with the gradient-based learning algorithms that determine a neural network's function. To address this, we introduce $\textsf{Cajal}$: a typed, higher-order and linear programming language intended to be a minimal vehicle for exploring a direct style of programming neural networks. We prove $\textsf{Cajal}$ programs compile to linear neurons, allowing discrete algorithms to be expressed in a differentiable form compatible with gradient-based learning. With our implementation of $\textsf{Cajal}$, we conduct several experiments where we link these linear neurons against other neural networks to determine part of their function prior to learning. Linking with these neurons allows networks to learn faster, with greater data-efficiency, and in a way that's easier to debug. A key lesson is that linear programming languages provide a path towards directly programming neural networks, enabling a rich interplay between learning and the discrete structures of ordinary programming.
- Abstract（参考訳）: ニューラルネットワークを直接プログラムすることはできません。
代わりに、勾配降下のような学習アルゴリズムがデータから学習することでニューラルネットワークの機能を決定する、間接的なスタイルに依存しています。
この間接的なスタイルは、しばしば美徳であり、以前は不可能だった問題を解決する力を与えてくれます。
しかし、個々の構造は欠落している。
これらのアルゴリズムがネットワークの学習に役立つとしても、ほとんどのアルゴリズムをニューラルネットワークにコンパイルすることはできない。
この制限は、離散アルゴリズムが明らかに微分不可能であるため、ニューラルネットワークの関数を決定する勾配に基づく学習アルゴリズムと互換性がないためである。
これを解決するために、我々は$\textsf{Cajal}$: ニューラルネットワークの直接的なスタイルを探求するための最小限の手段として、型付き、高階、リニアなプログラミング言語を紹介します。
我々は、線形ニューロンにコンパイルされた$\textsf{Cajal}$プログラムを証明し、勾配に基づく学習と互換性のある微分可能な形式で離散アルゴリズムを表現できるようにする。
我々は、$\textsf{Cajal}$の実装により、これらの線形ニューロンを他のニューラルネットワークとリンクして学習前にそれらの機能の一部を決定するいくつかの実験を行った。
これらのニューロンとリンクすることで、ネットワークはより速く、より優れたデータ効率で、デバッグが容易な方法で学習できます。
重要な教訓は、線形プログラミング言語がニューラルネットワークを直接プログラミングする方法を提供し、学習と通常のプログラミングの離散構造との豊かな相互作用を可能にすることである。
関連論文リスト
- On the algorithmic construction of deep ReLU networks [0.0]
我々はニューラルネットワークをアルゴリズムとして捉えている。
このアナロジーでは、ニューラルネットワークはデータから訓練されるのではなく、構築的にプログラムされる。
既存の例と新しい例の両方を構築し,分析する。
論文 参考訳（メタデータ） (2025-06-23T20:35:52Z) - Mind The Gap: Deep Learning Doesn't Learn Deeply [16.284360949127723]
本稿では,ニューラルネットワークが2つの疑問に対処してアルゴリズム推論をどのように学習するかを理解することを目的とする。
ニューラルネットワークが効果的なアルゴリズムを学習できないのはなぜなのか?
論文 参考訳（メタデータ） (2025-05-24T10:11:36Z) - LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - Towards a Neural Lambda Calculus: Neurosymbolic AI Applied to the Foundations of Functional Programming [0.0]
我々は、プログラム全体の実行方法を学ぶニューラルネットワークの能力を分析する。
統合型ニューラルラーニングと電卓形式化の導入について紹介する。
論文 参考訳（メタデータ） (2023-04-18T20:30:16Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - On the distance between two neural networks and the stability of
learning [59.62047284234815]
本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
論文 参考訳（メタデータ） (2020-02-09T19:18:39Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳（メタデータ） (2020-01-13T17:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。