論文の概要: The Gradient of Algebraic Model Counting
- arxiv url: http://arxiv.org/abs/2502.18406v1
- Date: Tue, 25 Feb 2025 17:57:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 15:22:41.939326
- Title: The Gradient of Algebraic Model Counting
- Title（参考訳）: 代数的モデルカウントの勾配
- Authors: Jaron Maene, Luc De Raedt,
- Abstract要約: 代数的モデルの数え方に関しても、全く同じ半順序的な視点が学習にも当てはまることを示す。
半環のキャンセルと順序付けが、よりメモリ効率の良いバックプロパゲーションにどのように活用できるかを示す。
- 参考スコア（独自算出の注目度）: 9.742948699856427
- License:
- Abstract: Algebraic model counting unifies many inference tasks on logic formulas by exploiting semirings. Rather than focusing on inference, we consider learning, especially in statistical-relational and neurosymbolic AI, which combine logical, probabilistic and neural representations. Concretely, we show that the very same semiring perspective of algebraic model counting also applies to learning. This allows us to unify various learning algorithms by generalizing gradients and backpropagation to different semirings. Furthermore, we show how cancellation and ordering properties of a semiring can be exploited for more memory-efficient backpropagation. This allows us to obtain some interesting variations of state-of-the-art gradient-based optimisation methods for probabilistic logical models. We also discuss why algebraic model counting on tractable circuits does not lead to more efficient second-order optimization. Empirically, our algebraic backpropagation exhibits considerable speed-ups as compared to existing approaches.
- Abstract（参考訳）: 代数モデルカウントは、半環を利用して論理式上の多くの推論タスクを統一する。
推論に焦点をあてるのではなく、特に論理的、確率的、神経的表現を組み合わせた統計的関連性およびニューロシンボリックAIにおいて学習を考える。
具体的には、代数的モデルの数え方と全く同じ半順序的な視点が学習にも当てはまることを示す。
これにより、勾配を一般化し、異なる半環へのバックプロパゲーションを一般化することで、様々な学習アルゴリズムを統一することができる。
さらに,よりメモリ効率のよいバックプロパゲーションのために,セミリングのキャンセルと順序付け特性をどのように活用できるかを示す。
これにより、確率論的論理モデルに対する最先端勾配に基づく最適化手法の興味深いバリエーションを得ることができる。
また, トラクタブル回路上での代数モデルカウントが, より効率的な2次最適化に繋がらない理由についても論じる。
経験的に、我々の代数的バックプロパゲーションは既存のアプローチと比較してかなりスピードアップしている。
関連論文リスト
- Explainable and Class-Revealing Signal Feature Extraction via Scattering Transform and Constrained Zeroth-Order Optimization [0.5893124686141783]
機械学習モデルから識別可能かつ説明可能な特徴を抽出する新しい手法を提案する。
興味のあるクラスのクラス確率を最大化する入力パターンを探索するために、ゼロ階最適化アルゴリズムを採用する。
本稿では,合成時系列分類問題を用いて提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2025-02-08T23:35:37Z) - BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。
本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。
本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2025-01-31T02:39:07Z) - A Markovian Model for Learning-to-Optimize [4.112909937203119]
本稿では,最適化アルゴリズムを念頭に置いて,反復アルゴリズムの確率モデルを提案する。
このモデルに基づいて、学習アルゴリズムの軌道上で定義される関数に対するPAC-Bayesian一般化境界を示す。
論文 参考訳（メタデータ） (2024-08-21T14:00:22Z) - Sparse Variational Student-t Processes [8.46450148172407]
学生Tプロセスは、重い尾の分布とデータセットをアウトリーチでモデル化するために使用される。
本研究では,学生プロセスが現実のデータセットに対してより柔軟になるためのスパース表現フレームワークを提案する。
UCIとKaggleの様々な合成および実世界のデータセットに対する2つの提案手法の評価を行った。
論文 参考訳（メタデータ） (2023-12-09T12:55:20Z) - A Metalearned Neural Circuit for Nonparametric Bayesian Inference [4.767884267554628]
機械学習の分類への応用のほとんどは、バランスの取れたクラスの閉じた集合を前提としている。
これは、クラス発生統計が長い尾の力量分布に従うことがしばしばある実世界と矛盾する。
本研究では,非パラメトリックベイズモデルから誘導バイアスを抽出し,人工ニューラルネットワークに転送する手法を提案する。
論文 参考訳（メタデータ） (2023-11-24T16:43:17Z) - Comparison of Single- and Multi- Objective Optimization Quality for
Evolutionary Equation Discovery [77.34726150561087]
進化的微分方程式の発見は、より優先順位の低い方程式を得るための道具であることが証明された。
提案した比較手法は、バーガーズ方程式、波動方程式、コルテヴェーグ・ド・ブリーズ方程式といった古典的なモデル例で示される。
論文 参考訳（メタデータ） (2023-06-29T15:37:19Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - DiffPrune: Neural Network Pruning with Deterministic Approximate Binary
Gates and $L_0$ Regularization [0.0]
現代のニューラルネットワークアーキテクチャは通常、数百万のパラメータを持ち、有効性を著しく損なうことなく、大幅に刈り取ることができる。
この作品の貢献は2つある。
1つ目は、任意の実数値確率変数の決定論的かつ微分可能変換によって多変量ベルヌーイ確率変数を近似する方法である。
2つ目は、決定論的あるいは乗法的に計算され、正確なゼロ値を取る近似二進ゲートを持つ要素的パラメータによるモデル選択の方法である。
論文 参考訳（メタデータ） (2020-12-07T13:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。