論文の概要: Convex and Bilevel Optimization for Neuro-Symbolic Inference and Learning
- arxiv url: http://arxiv.org/abs/2401.09651v2
- Date: Mon, 3 Jun 2024 20:15:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 13:27:48.813608
- Title: Convex and Bilevel Optimization for Neuro-Symbolic Inference and Learning
- Title（参考訳）: ニューロ・シンボリック推論と学習のための凸とバイレベル最適化
- Authors: Charles Dickens, Changyu Gao, Connor Pryor, Stephen Wright, Lise Getoor,
- Abstract要約: 我々は凸と双レベル最適化の手法を活用し、ニューラルシンボリック(NeSy)システムのための一般的なパラメータ学習フレームワークを開発する。
我々は、最先端のNeSyアーキテクチャであるNeuPSLを使って、我々のフレームワークを実演する。
- 参考スコア（独自算出の注目度）: 18.671244007444248
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We leverage convex and bilevel optimization techniques to develop a general gradient-based parameter learning framework for neural-symbolic (NeSy) systems. We demonstrate our framework with NeuPSL, a state-of-the-art NeSy architecture. To achieve this, we propose a smooth primal and dual formulation of NeuPSL inference and show learning gradients are functions of the optimal dual variables. Additionally, we develop a dual block coordinate descent algorithm for the new formulation that naturally exploits warm-starts. This leads to over 100x learning runtime improvements over the current best NeuPSL inference method. Finally, we provide extensive empirical evaluations across 8 datasets covering a range of tasks and demonstrate our learning framework achieves up to a 16% point prediction performance improvement over alternative learning methods.
- Abstract（参考訳）: 我々は凸と双レベル最適化の手法を活用し、ニューラルシンボリック(NeSy)システムのための一般的な勾配に基づくパラメータ学習フレームワークを開発する。
我々は、最先端のNeSyアーキテクチャであるNeuPSLを使って、我々のフレームワークを実演する。
そこで本研究では、NeuPSL推論のスムーズな原始的および双対的定式化を提案し、学習勾配が最適双対変数の関数であることを示す。
さらに,温暖化開始を自然に活用する新しい定式化のための二重ブロック座標降下アルゴリズムを開発した。
これにより、現在の最高のNeuPSL推論メソッドよりも100倍以上の学習ランタイムが改善される。
最後に、さまざまなタスクをカバーする8つのデータセットにわたる広範な経験的評価を行い、我々の学習フレームワークが、代替学習手法よりも最大16%のポイント予測性能の向上を達成することを実証する。
関連論文リスト
- Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
本稿では,ニューラルネットワークの初期化手法を提案する。
この手法は,Li(2023)が提案する出現対策の概念にインスパイアされ,より高い出現値を達成するために,レイヤワイド・ウェイト・スケーリング・ファクタを調整した。
バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-07-26T18:56:47Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2023-02-11T03:35:13Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳（メタデータ） (2022-11-18T02:00:17Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - A Generic Descent Aggregation Framework for Gradient-based Bi-level
Optimization [41.894281911990554]
両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。
BDAは上層と下層の両方の階層的目的を集約する。
従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:58:12Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳（メタデータ） (2020-05-04T03:21:05Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-03-10T03:46:25Z) - DDPNOpt: Differential Dynamic Programming Neural Optimizer [29.82841891919951]
トレーニングのための最も広く使われているアルゴリズムは、差分動的プログラミング(DDP)とリンク可能であることを示す。
本稿では,フィードフォワードと畳み込みネットワークをトレーニングするためのDDPOptの新たなクラスを提案する。
論文 参考訳（メタデータ） (2020-02-20T15:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。