論文の概要: Searching Latent Program Spaces

• arxiv url: http://arxiv.org/abs/2411.08706v1
• Date: Wed, 13 Nov 2024 15:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:13.084442
• Title: Searching Latent Program Spaces
• Title（参考訳）: 潜在プログラム空間の探索
• Authors: Clément Bonnet, Matthew V Macfarlane,
• Abstract要約: 本研究では,連続空間における潜伏プログラム上の分布を学習し,効率的な探索とテスト時間適応を可能にするプログラム誘導アルゴリズムを提案する。 テスト時間適応機構を利用して、トレーニング分布を超えて一般化し、目に見えないタスクに適応できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Program synthesis methods aim to automatically generate programs restricted to a language that can explain a given specification of input-output pairs. While purely symbolic approaches suffer from a combinatorial search space, recent methods leverage neural networks to learn distributions over program structures to narrow this search space significantly, enabling more efficient search. However, for challenging problems, it remains difficult to train models to perform program synthesis in one shot, making test-time search essential. Most neural methods lack structured search mechanisms during inference, relying instead on stochastic sampling or gradient updates, which can be inefficient. In this work, we propose the Latent Program Network (LPN), a general algorithm for program induction that learns a distribution over latent programs in a continuous space, enabling efficient search and test-time adaptation. We explore how to train these networks to optimize for test-time computation and demonstrate the use of gradient-based search both during training and at test time. We evaluate LPN on ARC-AGI, a program synthesis benchmark that evaluates performance by generalizing programs to new inputs rather than explaining the underlying specification. We show that LPN can generalize beyond its training distribution and adapt to unseen tasks by utilizing test-time computation, outperforming algorithms without test-time adaptation mechanisms.
• Abstract（参考訳）: プログラム合成手法は、与えられた入力-出力ペアの仕様を説明することができる言語に制限されたプログラムを自動的に生成することを目的としている。 純粋に象徴的なアプローチは組合せ探索空間に苦しむが、最近の手法ではニューラルネットワークを利用してプログラム構造上の分布を学習し、この探索空間を著しく狭め、より効率的な探索を可能にしている。 しかし、困難な問題に対して、一ショットでプログラム合成を行うモデルを訓練することは困難であり、テスト時間探索が不可欠である。 ほとんどのニューラルネットワークでは、推論中に構造化された探索機構が欠如しており、代わりに確率的なサンプリングや勾配更新に依存しており、非効率である可能性がある。 本研究では、連続空間における潜伏プログラム上の分布を学習し、効率的な探索とテスト時間適応を可能にするプログラム誘導のための汎用アルゴリズムであるLatent Program Network (LPN)を提案する。 テスト時間計算の最適化のためにこれらのネットワークをトレーニングする方法を探求し、トレーニング中とテスト時の両方で勾配に基づく探索を実演する。 そこで我々は,プログラムを新しい入力に一般化することで,プログラム合成ベンチマークであるARC-AGI上でLPNを評価する。 本研究では、LPNが学習分布を超えて一般化し、テスト時間適応機構を使わずに、テスト時間計算、性能向上アルゴリズムを活用することにより、未知のタスクに適応可能であることを示す。

関連論文リスト

• Using Machine Learning To Identify Software Weaknesses From Software Requirement Specifications [49.1574468325115]
  本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。 ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
  論文  参考訳（メタデータ） (2023-08-10T13:19:10Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• Scaling Neural Program Synthesis with Distribution-based Search [7.137293485620867]
  本稿では,ヒープ検索とSQRTサンプリングという2つの新しい検索アルゴリズムを紹介する。 確率的およびニューラルなテクニックとどのように統合され、並列計算環境をまたいで大規模に動作可能であるかを示す。
  論文  参考訳（メタデータ） (2021-10-24T16:46:01Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)
• Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
  ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
  論文  参考訳（メタデータ） (2020-07-23T16:07:39Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。