論文の概要: A Fast Convoluted Story: Scaling Probabilistic Inference for Integer Arithmetic

• arxiv url: http://arxiv.org/abs/2410.12389v1
• Date: Wed, 16 Oct 2024 09:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:27.638919
• Title: A Fast Convoluted Story: Scaling Probabilistic Inference for Integer Arithmetic
• Title（参考訳）: 高速畳み込み物語:整数算術における確率的推論のスケーリング
• Authors: Lennert De Smet, Pedro Zuidberg Dos Martires,
• Abstract要約: 整数値の確率変数に対する線形算術をテンソル演算として定式化する。 我々は、自由な勾配に基づく学習のために、事実上アンロック可能な、微分可能なデータ構造を得る。
• 参考スコア（独自算出の注目度）: 4.7223923266180785
• License:
• Abstract: As illustrated by the success of integer linear programming, linear integer arithmetic is a powerful tool for modelling combinatorial problems. Furthermore, the probabilistic extension of linear programming has been used to formulate problems in neurosymbolic AI. However, two key problems persist that prevent the adoption of neurosymbolic techniques beyond toy problems. First, probabilistic inference is inherently hard, #P-hard to be precise. Second, the discrete nature of integers renders the construction of meaningful gradients challenging, which is problematic for learning. In order to mitigate these issues, we formulate linear arithmetic over integer-valued random variables as tensor manipulations that can be implemented in a straightforward fashion using modern deep learning libraries. At the core of our formulation lies the observation that the addition of two integer-valued random variables can be performed by adapting the fast Fourier transform to probabilities in the log-domain. By relying on tensor operations we obtain a differentiable data structure, which unlocks, virtually for free, gradient-based learning. In our experimental validation we show that tensorising probabilistic linear integer arithmetic and leveraging the fast Fourier transform allows us to push the state of the art by several orders of magnitude in terms of inference and learning times.
• Abstract（参考訳）: 整数線形計画法の成功によって説明されるように、線形整数算術は組合せ問題をモデル化するための強力なツールである。 さらに、線形プログラミングの確率的拡張は、ニューロシンボリックAIの問題を定式化するために使われてきた。 しかし、2つの重要な問題は、おもちゃの問題以外の神経象徴的テクニックの採用を妨げている。 まず、確率的推論は本質的に困難であり、#P-ハードは正確である。 第二に、整数の離散性は意味のある勾配の構成を困難にさせるが、これは学習に問題となる。 これらの問題を緩和するために、現代のディープラーニングライブラリを用いて簡単に実装可能なテンソル演算として整数値のランダム変数に対する線形算術を定式化する。 我々の定式化の核となるのは、2つの整数値の確率変数の追加は、高速フーリエ変換を対数領域の確率に適応させることによって実現できるという観測である。 テンソル演算を頼りにすることで、微分可能なデータ構造が得られます。 実験による検証では, 確率線形算術のテンソル化と高速フーリエ変換の活用により, 推論や学習時間の観点から, 数桁の精度で最先端を推し進めることができることを示した。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Tensor Completion via Integer Optimization [7.813563137863005]
  テンソル完備化問題の主な課題は、計算力と情報理論サンプルの複雑さ率の基本的な緊張である。 過去のアプローチでは、情報理論の速度を達成するか、対応する解を計算するための実用的なアルゴリズムが欠如していた。 本稿では, 線形数のオラクルステップと情報理論速度で証明可能な収束(数値耐性)を両立させることにより, この緊張を解消する新しいテンソル完備化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-02-06T21:44:07Z)
• Accelerated Nonnegative Tensor Completion via Integer Programming [7.3149416054553065]
  整数計画法に基づく非負のテンソル完備化へのアプローチを提案する。 我々はアルゴリズムと同じ理論的な保証を維持できるいくつかの変種を探索するが、潜在的に高速な計算を提供する。
  論文  参考訳（メタデータ） (2022-11-28T21:00:25Z)
• AutoIP: A United Framework to Integrate Physics into Gaussian Processes [15.108333340471034]
  あらゆる微分方程式をガウス過程に統合できる枠組みを提案する。 本手法は,シミュレーションと実世界の応用の両方において,バニラGPの改善を示す。
  論文  参考訳（メタデータ） (2022-02-24T19:02:14Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction [0.0]
  本稿では,高非線形多変量関数を例から学習する新しい手法を提案する。 この手法は、連続函数をバイスで近似できるという性質を生かし、テンソルで表現できる。 モデルを学習するために,線形時間で実装可能な効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-04T14:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。