論文の概要: Learning Differentiable Programs with Admissible Neural Heuristics

• arxiv url: http://arxiv.org/abs/2007.12101v5
• Date: Sun, 28 Mar 2021 01:15:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 11:47:22.767159
• Title: Learning Differentiable Programs with Admissible Neural Heuristics
• Title（参考訳）: 可読性ニューラルヒューリスティックスを用いた微分可能プログラムの学習
• Authors: Ameesh Shah, Eric Zhan, Jennifer J. Sun, Abhinav Verma, Yisong Yue, Swarat Chaudhuri
• Abstract要約: ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
• 参考スコア（独自算出の注目度）: 43.54820901841979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of learning differentiable functions expressed as programs in a domain-specific language. Such programmatic models can offer benefits such as composability and interpretability; however, learning them requires optimizing over a combinatorial space of program "architectures". We frame this optimization problem as a search in a weighted graph whose paths encode top-down derivations of program syntax. Our key innovation is to view various classes of neural networks as continuous relaxations over the space of programs, which can then be used to complete any partial program. This relaxed program is differentiable and can be trained end-to-end, and the resulting training loss is an approximately admissible heuristic that can guide the combinatorial search. We instantiate our approach on top of the A-star algorithm and an iteratively deepened branch-and-bound search, and use these algorithms to learn programmatic classifiers in three sequence classification tasks. Our experiments show that the algorithms outperform state-of-the-art methods for program learning, and that they discover programmatic classifiers that yield natural interpretations and achieve competitive accuracy.
• Abstract（参考訳）: ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 このようなプログラムモデルは、コンポーザビリティや解釈可能性などの利点を提供するが、学習にはプログラム"アーキテクチャ"の組合せ空間よりも最適化する必要がある。 この最適化問題を,プログラム構文のトップダウン導出をパスエンコードする重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、ニューラルネットワークのさまざまなクラスを、プログラムの空間上の連続的な緩和と見なすことです。 この緩和プログラムは識別可能であり、エンドツーエンドで訓練することが可能であり、結果として得られるトレーニング損失は、組合せ探索を導くことができるおよそ許容されるヒューリスティックである。 我々は、A-starアルゴリズムと反復的に分枝分枝分枝探索を用いてアプローチをインスタンス化し、これらのアルゴリズムを用いて3つのシーケンス分類タスクでプログラム分類器を学習する。 実験の結果,アルゴリズムはプログラム学習の最先端手法よりも優れており,自然な解釈を導き,競争精度を実現するプログラム分類器が発見された。

関連論文リスト

• Learning with Differentiable Algorithms [6.47243430672461]
  この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。 さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-01T17:30:00Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• Learning compositional programs with arguments and sampling [12.790055619773565]
  私たちは、特定の要件を満たすプログラムを見つけるために、機械学習モデルをトレーニングします。 我々は、引数を受理できる関数を生成することを学ぶことによって、アートモデルAlphaNPIの状態を拡張します。
  論文  参考訳（メタデータ） (2021-09-01T21:27:41Z)
• Meta-Learning an Inference Algorithm for Probabilistic Programs [13.528656805820459]
  本稿では,制約付き確率プログラムの後方参照アルゴリズムを学習するためのメタアルゴリズムを提案する。 このアプローチの重要な特徴は、モデル記述から直接情報を抽出するホワイトボックス推論アルゴリズムの使用である。
  論文  参考訳（メタデータ） (2021-03-01T04:05:11Z)
• Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
  プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。 モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。 これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-23T20:40:18Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)
• Can We Learn Heuristics For Graphical Model Inference Using Reinforcement Learning? [114.24881214319048]
  我々は、強化学習を用いて、高次条件ランダム場(CRF)における推論を解くためのプログラム、すなわち、ポリシーを学習できることを示します。 本手法は,ポテンシャルの形式に制約を加えることなく,推論タスクを効率的に解く。
  論文  参考訳（メタデータ） (2020-04-27T19:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。