論文の概要: Monadic Deep Learning
- arxiv url: http://arxiv.org/abs/2307.12187v1
- Date: Sun, 23 Jul 2023 00:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:30:17.350680
- Title: Monadic Deep Learning
- Title（参考訳）: モナディック深層学習
- Authors: Bo Yang, Zhihao Zhang Kirisame Marisa and Kai Shi
- Abstract要約: 本稿では,複数のトレーニング可能な変数を含む静的型付き関数に対して,逆モードで自動微分を行う手法を提案する。
また、並列に複数の計算を行うための応用関手も提供します。
これらの機能により、DeepLearning.scalaのユーザは、直感的で簡潔な方法で複雑なニューラルネットワークを作成することができた。
- 参考スコア（独自算出の注目度）: 4.889090388486539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Java and Scala community has built a very successful big data ecosystem.
However, most of neural networks running on it are modeled in dynamically typed
programming languages. These dynamically typed deep learning frameworks treat
neural networks as differentiable expressions that contain many trainable
variable, and perform automatic differentiation on those expressions when
training them.
Until 2019, none of the learning frameworks in statically typed languages
provided the expressive power of traditional frameworks. Their users are not
able to use custom algorithms unless creating plenty of boilerplate code for
hard-coded back-propagation.
We solved this problem in DeepLearning.scala 2. Our contributions are:
1. We discovered a novel approach to perform automatic differentiation in
reverse mode for statically typed functions that contain multiple trainable
variable, and can interoperate freely with the metalanguage.
2. We designed a set of monads and monad transformers, which allow users to
create monadic expressions that represent dynamic neural networks.
3. Along with these monads, we provide some applicative functors, to perform
multiple calculations in parallel.
With these features, users of DeepLearning.scala were able to create complex
neural networks in an intuitive and concise way, and still maintain type
safety.
- Abstract（参考訳）: JavaとScalaコミュニティは、非常に成功したビッグデータエコシステムを構築しました。
しかし、それ上で動作するニューラルネットワークのほとんどは動的型付けプログラミング言語でモデル化されている。
これらの動的型付きディープラーニングフレームワークは、ニューラルネットワークを多くのトレーニング可能な変数を含む微分可能な表現として扱い、トレーニング時にそれらの表現を自動微分する。
2019年まで、静的型付け言語における学習フレームワークは、従来のフレームワークの表現力を提供していなかった。
ユーザは、ハードコードされたバックプロパゲーションのために多くの定型コードを作成しない限り、カスタムアルゴリズムを使用できない。
DeepLearning.scalaでこの問題を解決しました。
1. 複数のトレーニング可能な変数を含む静的型付き関数に対して,逆モードで自動微分を行う新しい手法を発見し,メタ言語と自由に相互運用できるようにした。
2. 動的ニューラルネットワークを表現するモナド表現をユーザが作成できるように,モナドとモナド変換器のセットを設計した。
3 これらのモナドとともに、複数の計算を並列に行うための応用的関手を提供する。
これらの機能により、DeepLearning.scalaのユーザは、直感的で簡潔な方法で複雑なニューラルネットワークを作成でき、型安全性を維持できた。
関連論文リスト
- Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。
代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Nondeterministic Stacks in Neural Networks [0.456877715768796]
我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。
これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。
また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
論文 参考訳（メタデータ） (2023-04-25T16:00:40Z) - Learning Language Representations with Logical Inductive Bias [19.842271716111153]
より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。
我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。
変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
論文 参考訳（メタデータ） (2023-02-19T02:21:32Z) - ExAIS: Executable AI Semantics [4.092001692194709]
ニューラルネットワークは、プログラマの心の中で(しばしば非公式に)論理的推論を通じて、より複雑なプログラムを構築する代わりに、汎用的なニューラルネットワークモデルをビッグデータで最適化することで、新しいプログラミングパラダイムとみなすことができる。
この新しいパラダイムでは、PyTorchのようなAIフレームワークが重要な役割を果たす。
プログラミング言語(Cなど)の適切な意味論が欠如していること、すなわちコンパイラの正当性仕様が、多くの問題のあるプログラムの動作やセキュリティ問題に寄与していることが知られている。
論文 参考訳（メタデータ） (2022-02-20T17:33:34Z) - Efficient Weight factorization for Multilingual Speech Recognition [67.00151881207792]
エンドツーエンドの多言語音声認識は、多くの言語を含む合成音声コーパスで単一のモデルトレーニングを使用する。
トレーニングデータの各言語には異なる特徴があるため、共有ネットワークは、すべての言語を同時に最適化するのに苦労する可能性がある。
ニューラルネットワークのコア動作をターゲットとした新しい多言語アーキテクチャを提案する:線形変換関数。
論文 参考訳（メタデータ） (2021-05-07T00:12:02Z) - Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。
ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
論文 参考訳（メタデータ） (2020-10-11T08:27:07Z) - Automated Source Code Generation and Auto-completion Using Deep
Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。
それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
論文 参考訳（メタデータ） (2020-09-16T15:17:04Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。