論文の概要: CoNSoLe: Convex Neural Symbolic Learning

• arxiv url: http://arxiv.org/abs/2206.00257v1
• Date: Wed, 1 Jun 2022 06:38:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 02:41:14.082864
• Title: CoNSoLe: Convex Neural Symbolic Learning
• Title（参考訳）: コンソール:convex neural neural learning
• Authors: Haoran Li, Yang Weng, Hanghang Tong
• Abstract要約: データから基礎となる方程式を学ぶことは、多くの分野において根本的な問題である。 最近の進歩はニューラルネットワーク(NN)に依存しているが、理論的保証は提供していない。
• 参考スコア（独自算出の注目度）: 45.08051574243274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning the underlying equation from data is a fundamental problem in many disciplines. Recent advances rely on Neural Networks (NNs) but do not provide theoretical guarantees in obtaining the exact equations owing to the non-convexity of NNs. In this paper, we propose Convex Neural Symbolic Learning (CoNSoLe) to seek convexity under mild conditions. The main idea is to decompose the recovering process into two steps and convexify each step. In the first step of searching for right symbols, we convexify the deep Q-learning. The key is to maintain double convexity for both the negative Q-function and the negative reward function in each iteration, leading to provable convexity of the negative optimal Q function to learn the true symbol connections. Conditioned on the exact searching result, we construct a Locally Convex equation Learner (LoCaL) neural network to convexify the estimation of symbol coefficients. With such a design, we quantify a large region with strict convexity in the loss surface of LoCaL for commonly used physical functions. Finally, we demonstrate the superior performance of the CoNSoLe framework over the state-of-the-art on a diverse set of datasets.
• Abstract（参考訳）: データから基礎となる方程式を学ぶことは、多くの分野において根本的な問題である。 近年の進歩はニューラルネットワーク(NN)に依存しているが、NNの非凸性に起因する正確な方程式を得るための理論的保証は提供されていない。 本稿では,弱い条件下での凸性を求めるために,Convex Neural Symbolic Learning (CoNSoLe)を提案する。 主なアイデアは、回復プロセスを2つのステップに分解し、各ステップを凸化することだ。 正しい記号を探す最初のステップでは、深層q学習を凸化します。 鍵となるのは、各反復において負のQ-函数と負の報酬関数の両方に対して二重凸性を維持することである。 正確な探索結果に基づいて局所凸方程式学習器(LoCaL)ニューラルネットワークを構築し,シンボル係数の推定を凸化する。 このような設計により、一般的な物理関数に対するLoCaLの損失面に厳密な凸性を持つ大領域を定量化する。 最後に,CoNSoLeフレームワークのさまざまなデータセットに対する最先端技術よりも優れた性能を示す。

関連論文リスト

• Convex Formulations for Training Two-Layer ReLU Neural Networks [21.88871868680998]
  非層NPハード最適化問題は、機械学習モデルにとって不可欠である。 有限幅2つのニューラルネットワークで解ける半定緩和を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:53:15Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
  2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。 特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
  論文  参考訳（メタデータ） (2020-12-24T17:03:30Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)
• The Curious Case of Convex Neural Networks [12.56278477726461]
  完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。 a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-06-09T08:16:38Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。