論文の概要: Compiling to recurrent neurons

• arxiv url: http://arxiv.org/abs/2511.14953v1
• Date: Tue, 18 Nov 2025 22:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.553503
• Title: Compiling to recurrent neurons
• Title（参考訳）: リカレントニューロンへのコンパイル
• Authors: Joey Velez-Ginorio, Nada Amin, Konrad Kording, Steve Zdancewic,
• Abstract要約: 我々は、$textsfCajalscriptstyle(mathbbmultimap, mathbb2, mathbbN)$という、最小限の型付き高階線形プログラミング言語を提示する。 我々は、そのプログラムが繰り返しニューロンに正しくコンパイルされることを証明し、勾配に基づく学習と互換性のある微分可能な形式で離散アルゴリズムを表現できるようにする。
• 参考スコア（独自算出の注目度）: 0.5249805590164902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete structures are currently second-class in differentiable programming. Since functions over discrete structures lack overt derivatives, differentiable programs do not differentiate through them and limit where they can be used. For example, when programming a neural network, conditionals and iteration cannot be used everywhere; they can break the derivatives necessary for gradient-based learning to work. This limits the class of differentiable algorithms we can directly express, imposing restraints on how we build neural networks and differentiable programs more generally. However, these restraints are not fundamental. Recent work shows conditionals can be first-class, by compiling them into differentiable form as linear neurons. Similarly, this work shows iteration can be first-class -- by compiling to linear recurrent neurons. We present a minimal typed, higher-order and linear programming language with iteration called $\textsf{Cajal}\scriptstyle(\mathbb{\multimap}, \mathbb{2}, \mathbb{N})$. We prove its programs compile correctly to recurrent neurons, allowing discrete algorithms to be expressed in a differentiable form compatible with gradient-based learning. With our implementation, we conduct two experiments where we link these recurrent neurons against a neural network solving an iterative image transformation task. This determines part of its function prior to learning. As a result, the network learns faster and with greater data-efficiency relative to a neural network programmed without first-class iteration. A key lesson is that recurrent neurons enable a rich interplay between learning and the discrete structures of ordinary programming.
• Abstract（参考訳）: 離散構造は現在、微分可能プログラミングの第二級である。 離散構造上の関数はオーバート微分を欠くため、微分可能プログラムはそれらを通して微分したり、使用可能な場所を制限したりしない。 例えば、ニューラルネットワークをプログラミングする場合、条件やイテレーションはどこでも使用できない。 これにより、直接表現できる微分可能なアルゴリズムのクラスが制限され、ニューラルネットワークや微分可能なプログラムの構築方法に制限が課される。 しかし、これらの抑制は基本的なものではない。 最近の研究は、条件を線形ニューロンとして微分可能な形式にコンパイルすることで、第一級にすることができることを示している。 同様に、この研究は、リニアリカレントニューロンにコンパイルすることで、イテレーションを第一級にすることができることを示している。 我々は、$\textsf{Cajal}\scriptstyle(\mathbb{\multimap}, \mathbb{2}, \mathbb{N})$(\textsf{Cajal}\scriptstyle(\mathbb{\multimap}, \mathbb{N})$(\textsf{Cajal}\scriptstyle(\mathbb{\multimap}, \mathbb{N})$)と呼ばれる反復を伴う最小の型付き高階線形プログラミング言語を示す。 我々は、そのプログラムが繰り返しニューロンに正しくコンパイルされることを証明し、勾配に基づく学習と互換性のある微分可能な形式で離散アルゴリズムを表現できるようにする。 実装では、反復的な画像変換タスクを解決するニューラルネットワークに対して、これらの繰り返しニューロンをリンクする2つの実験を行う。 これは学習に先立って機能の一部を決定する。 その結果、ネットワークは、ファーストクラスのイテレーションなしでプログラムされたニューラルネットワークに対して、より速く、より優れたデータ効率で学習する。 重要な教訓は、リカレントニューロンが学習と通常のプログラミングの離散構造とのリッチな相互作用を可能にすることである。

関連論文リスト

• Compiling to linear neurons [0.5249805590164902]
  ニューラルネットワークを直接プログラムするわけではない。代わりに、学習アルゴリズムがデータから学習することでニューラルネットワークの機能を決定する、間接的なスタイルに依存している。 これらのアルゴリズムがネットワークの学習に役立つとしても、ほとんどのアルゴリズムをニューラルネットワークにコンパイルすることはできない。 型付きで高階の線形プログラミング言語であるtextsfCajal$を紹介します。
  論文  参考訳（メタデータ） (2025-11-14T22:19:50Z)
• Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning [78.88684753303794]
  ディープラーニングは主にコンピュータビジョンと自然言語処理の応用を通じて進歩してきた。 ニューラル演算子は、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法である。 本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。
  論文  参考訳（メタデータ） (2025-06-12T17:59:31Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Taming Binarized Neural Networks and Mixed-Integer Programs [2.7624021966289596]
  バイナライズされたニューラルネットワークはテーム表現を許容することを示す。 これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。 このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
  論文  参考訳（メタデータ） (2023-10-05T21:04:16Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Towards a Neural Lambda Calculus: Neurosymbolic AI Applied to the Foundations of Functional Programming [0.0]
  我々は、プログラム全体の実行方法を学ぶニューラルネットワークの能力を分析する。 統合型ニューラルラーニングと電卓形式化の導入について紹介する。
  論文  参考訳（メタデータ） (2023-04-18T20:30:16Z)
• A Tutorial on Neural Networks and Gradient-free Training [0.0]
  本稿では,自己完結型チュートリアル方式で,ニューラルネットワークのコンパクトな行列ベース表現を提案する。 ニューラルネットワークは数個のベクトル値関数を構成する数学的非線形関数である。
  論文  参考訳（メタデータ） (2022-11-26T15:33:11Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。