論文の概要: LambdaBeam: Neural Program Search with Higher-Order Functions and Lambdas

• arxiv url: http://arxiv.org/abs/2306.02049v1
• Date: Sat, 3 Jun 2023 08:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 20:35:13.504127
• Title: LambdaBeam: Neural Program Search with Higher-Order Functions and Lambdas
• Title（参考訳）: LambdaBeam: 高階関数とラムダによるニューラルプログラム検索
• Authors: Kensen Shi, Hanjun Dai, Wen-Ding Li, Kevin Ellis, Charles Sutton
• Abstract要約: 我々はLambdaBeamと呼ばれる検索アルゴリズムを設計し、特定のDSL内で操作を構成する任意の関数を構築できる。 我々は、探索中に構築する合成を選択するためにニューラルネットワークを訓練し、それらを高次関数に引数として渡す。
• 参考スコア（独自算出の注目度）: 47.02839947860076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Search is an important technique in program synthesis that allows for adaptive strategies such as focusing on particular search directions based on execution results. Several prior works have demonstrated that neural models are effective at guiding program synthesis searches. However, a common drawback of those approaches is the inability to handle iterative loops, higher-order functions, or lambda functions, thus limiting prior neural searches from synthesizing longer and more general programs. We address this gap by designing a search algorithm called LambdaBeam that can construct arbitrary lambda functions that compose operations within a given DSL. We create semantic vector representations of the execution behavior of the lambda functions and train a neural policy network to choose which lambdas to construct during search, and pass them as arguments to higher-order functions to perform looping computations. Our experiments show that LambdaBeam outperforms neural, symbolic, and LLM-based techniques in an integer list manipulation domain.
• Abstract（参考訳）: 検索はプログラム合成において重要な技術であり、実行結果に基づいて特定の検索方向に焦点を当てるといった適応戦略を可能にする。 いくつかの先行研究は、ニューラルモデルがプログラム合成探索を導くのに有効であることを示した。 しかしながら、これらのアプローチの共通の欠点は、反復ループ、高階関数、あるいはラムダ関数を扱うことができないことである。 我々は、与えられたdsl内で操作を構成する任意のラムダ関数を構築できるlambdabeamと呼ばれる探索アルゴリズムを設計することで、このギャップに対処する。 我々は,ラムダ関数の実行動作に関する意味ベクトル表現を作成し,探索中に構築すべきラムダを選択するニューラルネットワークを訓練し,ループ計算を行うために高次関数に引数として渡す。 実験の結果,LambdaBeamは整数リスト操作領域において,ニューラル,シンボリック,LLMベースの手法よりも優れていた。

関連論文リスト

• AbstractBeam: Enhancing Bottom-Up Program Synthesis using Library Learning [0.0]
  AbstractBeamは、ライブラリ学習を活用することでLambdaBeamを強化するように設計された、新しいプログラム合成フレームワークである。 我々の実験は、AbstractBeamが整数リスト操作領域でLambdaBeamよりも統計的にかなり優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-27T08:31:12Z)
• Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
  本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。 認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
  論文  参考訳（メタデータ） (2024-03-20T00:37:19Z)
• Use Your INSTINCT: INSTruction optimization for LLMs usIng Neural bandits Coupled with Transformers [66.823588073584]
  大規模言語モデル (LLM) は命令追従能力に優れ、様々なアプリケーションで優れた性能を発揮している。 最近の研究は、ブラックボックスLLMに与えられる命令を自動的に最適化するために、クエリ効率のよいベイズ最適化(BO)アルゴリズムを用いている。 NNサロゲートによりBOのGPを置換し,ブラックボックスLLMの命令を最適化するニューラルバンディットアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:16Z)
• Parameter-free version of Adaptive Gradient Methods for Strongly-Convex Functions [0.0]
  本稿では,Metagradの行に沿って普遍的なアルゴリズムを適用し,ラムダとetaへの依存を取り除く。 主なアイデアは、複数の専門家を同時に実行し、予測をマスタアルゴリズムと組み合わせることである。
  論文  参考訳（メタデータ） (2023-06-11T07:46:22Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
  凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
  論文  参考訳（メタデータ） (2022-03-19T15:05:09Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
  プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。 モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。 これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-23T20:40:18Z)
• Differentiable Top-k Operator with Optimal Transport [135.36099648554054]
  SOFTトップk演算子は、エントロピック最適輸送(EOT)問題の解として、トップk演算の出力を近似する。 提案した演算子をk-アネレスト近傍およびビーム探索アルゴリズムに適用し,性能向上を示す。
  論文  参考訳（メタデータ） (2020-02-16T04:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。