論文の概要: From Perception to Programs: Regularize, Overparameterize, and Amortize

• arxiv url: http://arxiv.org/abs/2206.05922v2
• Date: Wed, 31 May 2023 19:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 02:03:28.978438
• Title: From Perception to Programs: Regularize, Overparameterize, and Amortize
• Title（参考訳）: 知覚からプログラムへ:規則化、過剰パラメータ化、償却
• Authors: Hao Tang and Kevin Ellis
• Abstract要約: ニューラルネットによる知覚入力を低次元の解釈可能な表現に解析し、次に合成プログラムで処理するニューロシンボリックプログラム合成技術を開発した。 問題を緩和し,全モジュールを勾配勾配でエンドツーエンドに学習する手法について検討する。 このツールボックスは、勾配誘導型プログラム探索の安定性を改善し、入力を離散抽象として知覚する方法と、それらの抽象をプログラムとして象徴的に処理する方法の両方を学ぶ方法を提案する。
• 参考スコア（独自算出の注目度）: 21.221244694737134
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Toward combining inductive reasoning with perception abilities, we develop techniques for neurosymbolic program synthesis where perceptual input is first parsed by neural nets into a low-dimensional interpretable representation, which is then processed by a synthesized program. We explore several techniques for relaxing the problem and jointly learning all modules end-to-end with gradient descent: multitask learning; amortized inference; overparameterization; and a differentiable strategy for penalizing lengthy programs. Collectedly this toolbox improves the stability of gradient-guided program search, and suggests ways of learning both how to perceive input as discrete abstractions, and how to symbolically process those abstractions as programs.
• Abstract（参考訳）: 帰納的推論と知覚能力を組み合わせることを目的として,まず知覚入力をニューラルネットワークで解析して低次元の解釈可能な表現とし,次に合成プログラムで処理するニューロシンボリックプログラム合成技術を開発した。 本稿では,問題を緩和し,全モジュールを勾配勾配で学習する手法について検討する。マルチタスク学習,償却推論,過度パラメータ化,長大プログラムのペナルティ化のための異なる戦略である。 このツールボックスは、勾配誘導型プログラム探索の安定性を改善し、入力を離散抽象として知覚する方法と、それらの抽象をプログラムとして象徴的に処理する方法の両方を学ぶ方法を提案する。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Differentiable Logic Programming for Distant Supervision [4.820391833117535]
  我々はニューラル・シンボリックAI(NeSy)におけるニューラルネットワークと論理プログラミングを統合する新しい手法を提案する。 従来の手法とは違って,提案手法はラベルの欠落を推論するシンボリック・ソルバに依存しない。 この方法は、遠隔の監督下でより効率的な学習を容易にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:52Z)
• Guided Sketch-Based Program Induction by Search Gradients [0.0]
  本稿では,進化戦略を用いた探索勾配によるパラメータ化プログラムの学習フレームワークを提案する。 この定式化は、プログラマがプログラムのスケッチにタスク固有のコードを付与できるようにするため、従来のプログラム帰納法から逸脱する。
  論文  参考訳（メタデータ） (2024-02-10T16:47:53Z)
• Learning Differentiable Logic Programs for Abstract Visual Reasoning [18.82429807065658]
  微分フォワード推論は、勾配に基づく機械学習パラダイムと推論を統合するために開発された。 NEUMANNはグラフベースの微分可能フォワード推論器で、メッセージをメモリ効率のよい方法で送信し、構造化プログラムを関手で処理する。 NEUMANNは視覚的推論タスクを効率的に解き、神経、象徴的、神経-象徴的ベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-03T11:02:40Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
  プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。 モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。 これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-23T20:40:18Z)
• Optimal Neural Program Synthesis from Multimodal Specifications [45.35689345004124]
  マルチモーダルプログラム合成は、プログラム合成を挑戦的な設定に拡張する魅力的な方法である。 本稿では,ユーザが提供する制約を満たすプログラムを見つけることを目的とした,最適なニューラルシンセサイザー手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T20:51:21Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)
• Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
  ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
  論文  参考訳（メタデータ） (2020-07-23T16:07:39Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。