論文の概要: Noise to the Rescue: Escaping Local Minima in Neurosymbolic Local Search

• arxiv url: http://arxiv.org/abs/2503.01817v1
• Date: Mon, 03 Mar 2025 18:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:32.313455
• Title: Noise to the Rescue: Escaping Local Minima in Neurosymbolic Local Search
• Title（参考訳）: 救助の騒音:ニューロシンボリック局所探索における局所性ミニマの回避
• Authors: Alessandro Daniele, Emile van Krieken,
• Abstract要約: 結合と解離を min と max で表す Godel 論理に BP を適用することは SAT 問題解決のための局所探索アルゴリズムと等価であることを示す。 本稿では,モデルのロジットに雑音を付加し,局所最適化から逃れるゴデルトリックを提案する。
• 参考スコア（独自算出の注目度）: 50.24983453990065
• License:
• Abstract: Deep learning has achieved remarkable success across various domains, largely thanks to the efficiency of backpropagation (BP). However, BP's reliance on differentiability poses challenges in neurosymbolic learning, where discrete computation is combined with neural models. We show that applying BP to Godel logic, which represents conjunction and disjunction as min and max, is equivalent to a local search algorithm for SAT solving, enabling the optimisation of discrete Boolean formulas without sacrificing differentiability. However, deterministic local search algorithms get stuck in local optima. Therefore, we propose the Godel Trick, which adds noise to the model's logits to escape local optima. We evaluate the Godel Trick on SATLIB, and demonstrate its ability to solve a broad range of SAT problems. Additionally, we apply it to neurosymbolic models and achieve state-of-the-art performance on Visual Sudoku, all while avoiding expensive probabilistic reasoning. These results highlight the Godel Trick's potential as a robust, scalable approach for integrating symbolic reasoning with neural architectures.
• Abstract（参考訳）: 深層学習は、バックプロパゲーション(BP)の効率によって、様々な領域で顕著に成功している。 しかし、BPの微分可能性への依存は、離散計算とニューラルモデルを組み合わせるニューロシンボリックラーニングにおいて困難を生じさせる。 我々は,結合と解離をminとmaxで表すGodeel論理にBPを適用することはSAT解の局所探索アルゴリズムと等価であることを示し,微分性を犠牲にすることなく離散ブール公式の最適化を可能にする。 しかし、決定論的局所探索アルゴリズムは局所最適化において立ち往生する。 そこで我々は,モデルのロジットに雑音を付加し,局所最適化から逃れるゴデルトリックを提案する。 我々は,SATLIB上のゴデルトリックを評価し,幅広いSAT問題を解く能力を示した。 さらに,ニューロシンボリックモデルに適用し,高コストな確率論的推論を回避しつつ,ビジュアルスドクの最先端性能を実現する。 これらの結果は、ニューラルネットワークとシンボリック推論を統合するための堅牢でスケーラブルなアプローチとして、Godell Trick氏の可能性を強調している。

関連論文リスト

• Deep Symbolic Optimization for Combinatorial Optimization: Accelerating Node Selection by Discovering Potential Heuristics [10.22111332588471]
  本稿では,その利点を生かした,新しい記号的最適化学習フレームワークを提案する。 Dso4NSは高次元離散記号空間内の数学的表現の探索をガイドし、最高性能の数学的表現を解法に組み込む。 実験では、Dso4NSが高品質な表現の学習に有効であることを示し、CPUマシンにおける既存のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-14T06:02:14Z)
• Solving Poisson Equations using Neural Walk-on-Spheres [80.1675792181381]
  高次元ポアソン方程式の効率的な解法としてニューラルウォーク・オン・スフェース(NWoS)を提案する。 我々は,NWoSの精度,速度,計算コストにおける優位性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T17:59:22Z)
• Learning Branching Heuristics from Graph Neural Networks [1.4660170768702356]
  まず,確率論的手法を用いて設計した新しいグラフニューラルネットワーク(GNN)モデルを提案する。 我々のアプローチは、AIで使用される古典的なバックトラッキングアルゴリズムの強化にGNNを適用する新しい方法を導入する。
  論文  参考訳（メタデータ） (2022-11-26T00:01:01Z)
• CITS: Coherent Ising Tree Search Algorithm Towards Solving Combinatorial Optimization Problems [0.0]
  本稿では、マルコフ連鎖からSAに基づく奥行き制限木への探索空間の拡大による探索アルゴリズムを提案する。 それぞれのイテレーションにおいて、このアルゴリズムは、先を見据えて、木に沿って探索することで、実現可能な探索空間内で最高の準最適解を選択する」。 以上の結果から,IsingのNP最適化問題に対する高次木探索戦略は,より少ないエポックの範囲で解決可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-09T10:07:26Z)
• A deep learning based surrogate model for stochastic simulators [0.0]
  シミュレータのための深層学習に基づく代理モデルを提案する。 我々は損失関数として条件付き最大平均誤差(CMMD)を利用する。 その結果,提案手法の優れた性能が得られた。
  論文  参考訳（メタデータ） (2021-10-24T11:38:47Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Hardness of Random Optimization Problems for Boolean Circuits, Low-Degree Polynomials, and Langevin Dynamics [78.46689176407936]
  アルゴリズムの族は高い確率でほぼ最適な解を生成できないことを示す。 ブール回路の場合、回路複雑性理論で知られている最先端境界を改善する。
  論文  参考訳（メタデータ） (2020-04-25T05:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。