論文の概要: Bayesian Program Learning by Decompiling Amortized Knowledge
- arxiv url: http://arxiv.org/abs/2306.07856v3
- Date: Fri, 31 May 2024 15:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:51:10.854683
- Title: Bayesian Program Learning by Decompiling Amortized Knowledge
- Title（参考訳）: 暗記知識の非コンパイルによるベイズプログラム学習
- Authors: Alessandro B. Palmarini, Christopher G. Lucas, N. Siddharth,
- Abstract要約: 本稿では,ニューラルサーチポリシーを直接活用し,その記憶された知識を効果的に「分解」し,関連するプログラムコンポーネントを抽出する,新たな学習手法を提案する。
これにより、より強力な償却推論が実現され、探索幅を減らすために学習した償却知識も探索深度を減らすために使用されるようになった。
- 参考スコア（独自算出の注目度）: 50.960612835957875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DreamCoder is an inductive program synthesis system that, whilst solving problems, learns to simplify search in an iterative wake-sleep procedure. The cost of search is amortized by training a neural search policy, reducing search breadth and effectively "compiling" useful information to compose program solutions across tasks. Additionally, a library of program components is learnt to compress and express discovered solutions in fewer components, reducing search depth. We present a novel approach for library learning that directly leverages the neural search policy, effectively "decompiling" its amortized knowledge to extract relevant program components. This provides stronger amortized inference: the amortized knowledge learnt to reduce search breadth is now also used to reduce search depth. We integrate our approach with DreamCoder and demonstrate faster domain proficiency with improved generalization on a range of domains, particularly when fewer example solutions are available.
- Abstract（参考訳）: DreamCoderは、問題を解く一方で、反復的なウェイクスリープ手順で検索を単純化することを学ぶ、帰納的なプログラム合成システムである。
検索のコストは、ニューラルサーチポリシーをトレーニングし、検索幅を減らし、タスク間でプログラムソリューションを構成するのに有用な情報を効率的に「コンパイルする」ことで償却される。
さらに、プログラムコンポーネントのライブラリを学習して、発見されたソリューションを少ないコンポーネントで圧縮し、表現することで、探索深度を減少させる。
本稿では,ニューラルサーチポリシーを直接活用し,その記憶された知識を効果的に「分解」し,関連するプログラムコンポーネントを抽出する,新たな図書館学習手法を提案する。
これにより、より強力な償却推論が実現され、探索幅を減らすために学習した償却知識も探索深度を減らすために使用されるようになった。
私たちはDreamCoderとアプローチを統合し、特にサンプルソリューションが少ない場合に、さまざまな領域での一般化を改善することで、より高速なドメイン習熟度を示す。
関連論文リスト
- Searching Latent Program Spaces [0.0]
本研究では,連続空間における潜伏プログラム上の分布を学習し,効率的な探索とテスト時間適応を可能にするプログラム誘導アルゴリズムを提案する。
テスト時間適応機構を利用して、トレーニング分布を超えて一般化し、目に見えないタスクに適応できることを示す。
論文 参考訳（メタデータ） (2024-11-13T15:50:32Z) - A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳（メタデータ） (2022-08-16T10:22:49Z) - CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。
私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。
我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
論文 参考訳（メタデータ） (2022-03-20T04:41:05Z) - Leveraging Language to Learn Program Abstractions and Search Heuristics [66.28391181268645]
LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。
最先端のライブラリ学習システム(DreamCoder)に統合されると、LAPSは高品質なライブラリを生成し、検索効率と一般化を改善する。
論文 参考訳（メタデータ） (2021-06-18T15:08:47Z) - Learning (Re-)Starting Solutions for Vehicle Routing Problems [14.509927512118544]
最適化問題の解決における鍵となる課題は、エージェント(ソルバ)を効率的に探索する方法である。
本稿では,機械学習を用いて探索を高速化できることを示す。
論文 参考訳（メタデータ） (2020-08-08T02:53:09Z) - BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。
特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。
単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
論文 参考訳（メタデータ） (2020-07-28T17:46:18Z) - Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。
我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。
私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
論文 参考訳（メタデータ） (2020-07-23T16:07:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。