論文の概要: DreamDecompiler: Improved Bayesian Program Learning by Decompiling Amortised Knowledge

• arxiv url: http://arxiv.org/abs/2306.07856v1
• Date: Tue, 13 Jun 2023 15:35:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 13:02:36.170599
• Title: DreamDecompiler: Improved Bayesian Program Learning by Decompiling Amortised Knowledge
• Title（参考訳）: DreamDecompiler: 暗記知識の逆コンパイルによるベイズ学習の改善
• Authors: Alessandro B. Palmarini, Christopher G. Lucas, N. Siddharth
• Abstract要約: 本稿では,ニューラルサーチポリシーを直接活用するライブラリ学習へのアプローチを提案する。 これにより、検索幅を減らすために学習したアモート化された知識が、探索深度を減らすために使用されるようになる。
• 参考スコア（独自算出の注目度）: 72.64378254137812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Solving program induction problems requires searching through an enormous space of possibilities. DreamCoder is an inductive program synthesis system that, whilst solving problems, learns to simplify search in an iterative wake-sleep procedure. The cost of search is amortised by training a neural search policy, reducing search breadth and effectively "compiling" useful information to compose program solutions across tasks. Additionally, a library of program components is learnt to express discovered solutions in fewer components, reducing search depth. In DreamCoder, the neural search policy has only an indirect effect on the library learnt through the program solutions it helps discover. We present an approach for library learning that directly leverages the neural search policy, effectively "decompiling" its amortised knowledge to extract relevant program components. This provides stronger amortised inference: the amortised knowledge learnt to reduce search breadth is now also used to reduce search depth. We integrate our approach with DreamCoder and demonstrate faster domain proficiency with improved generalisation on a range of domains, particularly when fewer example solutions are available.
• Abstract（参考訳）: プログラム誘導問題の解決には、膨大な可能性空間を探索する必要がある。 dreamcoderはインダクティブなプログラム合成システムであり、問題を解きながら、反復的なウェイクスリープ手順で検索を単純化する。 検索コストは、ニューラルサーチポリシーをトレーニングし、検索幅を減らし、タスク間でプログラムソリューションを構成するのに有用な情報を効率的に「コンパイル」することで償却される。 さらに、プログラムコンポーネントのライブラリは、検出されたソリューションを少ないコンポーネントで表現することを学び、検索の深さを減らす。 DreamCoderでは、ニューラルネットワークポリシーは、検出するプログラムソリューションを通じて学んだライブラリに間接的な影響しか与えない。 本稿では,神経検索ポリシーを直接活用するライブラリ学習のアプローチを提案する。 検索の幅を減らすために学習される償却された知識は、検索の深さを減らすためにも使われる。 このアプローチをdreamcoderと統合し、さまざまなドメインの一般化、特にサンプルソリューションが少ない場合に、より高速なドメイン習熟度を実証します。

関連論文リスト

• Searching Latent Program Spaces [0.0]
  本研究では,連続空間における潜伏プログラム上の分布を学習し,効率的な探索とテスト時間適応を可能にするプログラム誘導アルゴリズムを提案する。 テスト時間適応機構を利用して、トレーニング分布を超えて一般化し、目に見えないタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T15:50:32Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• Leveraging Language to Learn Program Abstractions and Search Heuristics [66.28391181268645]
  LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。 最先端のライブラリ学習システム(DreamCoder)に統合されると、LAPSは高品質なライブラリを生成し、検索効率と一般化を改善する。
  論文  参考訳（メタデータ） (2021-06-18T15:08:47Z)
• Learning (Re-)Starting Solutions for Vehicle Routing Problems [14.509927512118544]
  最適化問題の解決における鍵となる課題は、エージェント(ソルバ)を効率的に探索する方法である。 本稿では,機械学習を用いて探索を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-08-08T02:53:09Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)
• Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
  ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
  論文  参考訳（メタデータ） (2020-07-23T16:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。