論文の概要: Gradient-Based Program Synthesis with Neurally Interpreted Languages

• arxiv url: http://arxiv.org/abs/2604.18907v1
• Date: Mon, 20 Apr 2026 23:14:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.536473
• Title: Gradient-Based Program Synthesis with Neurally Interpreted Languages
• Title（参考訳）: ニューラルネットワークを用いたグラディエント型プログラム合成
• Authors: Matthew V. Macfarlane, Clément Bonnet, Herke van Hoof, Levi H. S. Lelis,
• Abstract要約: 本稿では,ニューラルネットワーク・インタプリタという遅延適応ネットワークアーキテクチャのインスタンスを開発する。 独自のシンボリックなプログラミング言語をエンドツーエンドで学習する。 その結果,離散言語の構成性とニューラルネットワークの勾配に基づくエンドツーエンド学習を組み合わせたモデルへの新たな道筋が確立された。
• 参考スコア（独自算出の注目度）: 19.734602525162106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in program induction has long been the trade-off between symbolic and neural approaches. Symbolic methods offer compositional generalisation and data efficiency, yet their scalability is constrained by formalisms such as domain-specific languages (DSLs), which are labour-intensive to create and may not transfer to new domains. In contrast, neural networks flexibly learn from data but tend to generalise poorly in compositional and out-of-distribution settings. We bridge this divide with an instance of a Latent Adaptation Network architecture named Neural Language Interpreter (NLI), which learns its own discrete, symbolic-like programming language end-to-end. NLI autonomously discovers a vocabulary of primitive operations and uses a novel differentiable neural executor to interpret variable-length sequences of these primitives. This allows NLI to represent programs that are not bound to a constant number of computation steps, enabling it to solve more complex problems than those seen during training. To make these discrete, compositional program structures amenable to gradient-based optimisation, we employ the Gumbel-Softmax relaxation, enabling the entire model to be trained end-to-end. Crucially, this same differentiability enables powerful test-time adaptation. At inference, NLI's program inductor provides an initial program guess. This guess is then refined via gradient descent through the neural executor, enabling efficient search for the neural program that best explains the given data. We demonstrate that NLI outperforms in-context learning, test-time training, and continuous latent program networks on tasks that require combinatorial generalisation and rapid adaptation to unseen tasks. Our results establish a new path toward models that combine the compositionality of discrete languages with the gradient-based search and end-to-end learning of neural networks.
• Abstract（参考訳）: プログラム誘導における中心的な課題は、長い間、象徴的アプローチとニューラルアプローチのトレードオフであった。 シンボリック・メソッドは構成の一般化とデータ効率を提供するが、そのスケーラビリティはドメイン固有言語(DSL)のような形式主義によって制約される。 対照的に、ニューラルネットワークはデータから柔軟に学習するが、構成やアウト・オブ・ディストリビューションの設定では一般化が不十分である。 我々はこの分割を、ニューラルネットワークインタープリタ(NLI)と呼ばれる遅延適応ネットワークアーキテクチャの例で橋渡しする。 NLIは、プリミティブ操作の語彙を自律的に発見し、これらのプリミティブの可変長シーケンスを解釈するために、新しい微分可能なニューラルエグゼキュータを使用する。 これにより、NLIは一定数の計算ステップに縛られないプログラムを表現でき、トレーニング中に見られるよりも複雑な問題を解くことができる。 これらの離散的な構成的プログラム構造を勾配に基づく最適化に適合させるため、Gumbel-Softmax緩和を用いて、モデル全体をエンドツーエンドにトレーニングすることができる。 重要なことに、この同じ差別化性は、強力なテスト時間適応を可能にする。 推論において、NLIのプログラムインダクタは初期プログラム推定を提供する。 この推測は、神経エグゼキュータを通して勾配降下によって洗練され、与えられたデータを最もよく説明する神経プログラムの効率的な探索を可能にします。 NLIは、組み合わせの一般化と予期せぬタスクへの迅速な適応を必要とするタスクにおいて、コンテキスト内学習、テストタイムトレーニング、継続的な潜伏プログラムネットワークよりも優れていることを示す。 この結果から、離散言語の構成性と勾配に基づく探索とニューラルネットワークのエンドツーエンド学習を組み合わせたモデルへの新たな道が確立された。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Nondeterministic Stacks in Neural Networks [0.456877715768796]
  我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-25T16:00:40Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Sequence-to-Sequence Learning with Latent Neural Grammars [12.624691611049341]
  ニューラルネットワークを用いたシーケンス対シーケンス学習は、シーケンス予測タスクのデファクトスタンダードとなっている。 フレキシブルでパフォーマンスが高いが、これらのモデルはトレーニングのために大きなデータセットを必要とすることが多く、構成の一般化をテストするために設計されたベンチマークで驚くほど失敗することがある。 この研究は、準同期文法を用いたシーケンシャル・ツー・シークエンス学習の代替的、階層的アプローチを探求する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:08Z)
• Beyond Graph Neural Networks with Lifted Relational Neural Networks [14.63152363481139]
  我々は,Lfted Neural Networks の言語に基づく宣言型微分可能プログラミングフレームワークを実演する。 小さなパラメータ化プログラムは学習を符号化するために使用される。 このアイデアは、様々な高度なニューラルネットワークの効率的な符号化にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-07-13T10:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。