論文の概要: Learning to Compile Programs to Neural Networks

• arxiv url: http://arxiv.org/abs/2407.15078v1
• Date: Sun, 21 Jul 2024 07:04:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 19:28:49.207780
• Title: Learning to Compile Programs to Neural Networks
• Title（参考訳）: プログラムをニューラルネットワークにコンパイルする学習
• Authors: Logan Weber, Jesse Michel, Alex Renda, Michael Carbin,
• Abstract要約: プログラム$の$textitneural surrogateは、プログラムの動作を模倣するニューラルネットワークである。 本稿では,ニューラルサロゲートの生成と実行を結合することなく,プログラムテキストから直接ニューラルサロゲートを製造する手法を提案する。
• 参考スコア（独自算出の注目度）: 10.203788801836385
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A $\textit{neural surrogate of a program}$ is a neural network that mimics the behavior of a program. Researchers have used these neural surrogates to automatically tune program inputs, adapt programs to new settings, and accelerate computations. Researchers traditionally develop neural surrogates by training on input-output examples from a single program. Alternatively, language models trained on a large dataset including many programs can consume program text, to act as a neural surrogate. Using a language model to both generate a surrogate and act as a surrogate, however, leading to a trade-off between resource consumption and accuracy. We present $\textit{neural surrogate compilation}$, a technique for producing neural surrogates directly from program text without coupling neural surrogate generation and execution. We implement neural surrogate compilers using hypernetworks trained on a dataset of C programs and find that they produce neural surrogates that are $1.9$-$9.5\times$ as data-efficient, produce visual results that are $1.0$-$1.3\times$ more similar to ground truth, and train in $4.3$-$7.3\times$ fewer epochs than neural surrogates trained from scratch.
• Abstract（参考訳）: $\textit{neural surrogate of a program}$は、プログラムの振る舞いを模倣するニューラルネットワークである。 研究者はこれらのニューラルサロゲートを使用して、プログラム入力を自動的にチューニングし、プログラムを新しい設定に適応させ、計算を加速した。 研究者は伝統的に、1つのプログラムから入力出力のサンプルをトレーニングすることで神経サロゲートを開発する。 あるいは、多数のプログラムを含む大規模なデータセットでトレーニングされた言語モデルは、プログラムテキストを消費し、ニューラルサロゲートとして振る舞うことができる。 しかし、言語モデルを使用してサロゲートを生成し、サロゲートとして振る舞うことで、リソース消費と精度のトレードオフにつながる。 本稿では,ニューラルサロゲート生成と実行を結合することなく,プログラムテキストから直接ニューラルサロゲートを生成する技術である$\textit{neural surrogate compilation}を提示する。 我々は、Cプログラムのデータセットでトレーニングされたハイパーネットを使用してニューラルサロゲートコンパイラを実装し、データ効率として1.9$-$9.5\times$を生成し、ビジュアル結果として$1.0$-$1.3\times$を、地上真実に類似して4.3$-$7.3\times$を、スクラッチからトレーニングされたニューラルサロゲートよりも少ないエポックを出力する。

関連論文リスト

• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Mitigating Data Scarcity for Large Language Models [7.259279261659759]
  近年,事前学習型ニューラルネットワークモデル (PNLM) が嵐による自然言語処理の分野に進出している。 データ不足は、医学などの専門分野や、AI研究によって調査されていない低リソース言語でよく見られる。 この論文では、データ強化とニューラルアンサンブル学習技術を用いて、データの不足を軽減することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-02-03T15:17:53Z)
• A Sublinear Adversarial Training Algorithm [13.42699247306472]
  本稿では,ReLUの活性化をシフトした2層ニューラルネットワーク上での対向的トレーニング手順の収束保証を解析する。 本研究では,半空間レポートデータ構造を適用して,時間コスト$o(m n d)$の逆トレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-08-10T15:31:40Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Does Preprocessing Help Training Over-parameterized Neural Networks? [19.64638346701198]
  我々は,$Omega(mnd)$バリアをバイパスする2つの新しい前処理手法を提案する。 本研究は,これまでに確立された高速訓練法について理論的考察を行った。
  論文  参考訳（メタデータ） (2021-10-09T18:16:23Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)
• Neurocoder: Learning General-Purpose Computation Using Stored Neural Programs [64.56890245622822]
  ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。 共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。 モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
  論文  参考訳（メタデータ） (2020-09-24T01:39:16Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。