論文の概要: KLay: Accelerating Neurosymbolic AI

• arxiv url: http://arxiv.org/abs/2410.11415v1
• Date: Tue, 15 Oct 2024 09:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:35.590837
• Title: KLay: Accelerating Neurosymbolic AI
• Title（参考訳）: KLay: 加速するニューロシンボリックAI
• Authors: Jaron Maene, Vincent Derkinderen, Pedro Zuidberg Dos Martires,
• Abstract要約: ニューロシンボリックAIに対する一般的なアプローチは、論理式を演算回路にマッピングすることである。 我々は,効率よく並列化可能な演算回路を表現するために知識層(KLay)を導入する。 我々は,KLayが複数桁の高速化を実現することを実証的に示す。
• 参考スコア（独自算出の注目度）: 5.342751235300229
• License:
• Abstract: A popular approach to neurosymbolic AI involves mapping logic formulas to arithmetic circuits (computation graphs consisting of sums and products) and passing the outputs of a neural network through these circuits. This approach enforces symbolic constraints onto a neural network in a principled and end-to-end differentiable way. Unfortunately, arithmetic circuits are challenging to run on modern AI accelerators as they exhibit a high degree of irregular sparsity. To address this limitation, we introduce knowledge layers (KLay), a new data structure to represent arithmetic circuits that can be efficiently parallelized on GPUs. Moreover, we contribute two algorithms used in the translation of traditional circuit representations to KLay and a further algorithm that exploits parallelization opportunities during circuit evaluations. We empirically show that KLay achieves speedups of multiple orders of magnitude over the state of the art, thereby paving the way towards scaling neurosymbolic AI to larger real-world applications.
• Abstract（参考訳）: ニューロシンボリックAIに対する一般的なアプローチは、論理式を算術回路(和と積からなる計算グラフ)にマッピングし、ニューラルネットワークの出力をこれらの回路に渡すことである。 このアプローチは、原則とエンドツーエンドの微分可能な方法で、ニューラルネットワークにシンボリック制約を強制する。 残念ながら、算術回路は、高度な不規則な間隔を示すため、現代のAIアクセラレータ上での動作が困難である。 この制限に対処するために、GPU上で効率的に並列化できる演算回路を表現する新しいデータ構造である知識層(KLay)を導入する。 さらに、従来の回路表現のKLayへの変換に使用される2つのアルゴリズムと、回路評価中に並列化の機会を利用するアルゴリズムを提案。 我々は、KLayが最先端技術に対して複数の桁のスピードアップを達成することを実証的に示し、それによって、より大規模な現実世界のアプリケーションにニューロシンボリックAIをスケールする方法を開拓する。

関連論文リスト

• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• CktGNN: Circuit Graph Neural Network for Electronic Design Automation [67.29634073660239]
  本稿では,回路トポロジ生成とデバイスサイズを同時に行う回路グラフニューラルネットワーク(CktGNN)を提案する。 オープンサーキットベンチマーク(OCB: Open Circuit Benchmark)は、オープンソースのデータセットで、10ドル(約10万円)の異なるオペレーショナルアンプを含む。 我々の研究は、アナログ回路のための学習ベースのオープンソース設計自動化への道を開いた。
  論文  参考訳（メタデータ） (2023-08-31T02:20:25Z)
• Injecting Logical Constraints into Neural Networks via Straight-Through Estimators [5.6613898352023515]
  ニューラルネットワーク学習に離散的な論理的制約を注入することは、ニューロシンボリックAIにおける大きな課題の1つだ。 ニューラルネットワークの学習に論理的制約を組み込むために、バイナリニューラルネットワークをトレーニングするために導入されたストレートスルー推定器が効果的に適用できることがわかった。
  論文  参考訳（メタデータ） (2023-07-10T05:12:05Z)
• Pathfinding Neural Cellular Automata [23.831530224401575]
  Pathfindingは、ロボットパス計画、トランスポートルーティング、ゲームプレイなど、幅広い複雑なAIタスクの重要なサブコンポーネントである。 我々は, Breadth-First Search (BFS) のモデル,すなわち最短経路探索のハンドコードと学習を行う。 本稿では、Depth-First Search(DFS)のニューラル実装を提案し、グラフの直径を計算するためのNAAを生成するために、ニューラルネットワークBFSと組み合わせる方法について概説する。 我々は,これらの手書きNCAに触発されたアーキテクチャ変更を実験し,グリッド迷路の直径問題を解くためにゼロからネットワークをトレーニングし,高い能力の一般化を示した。
  論文  参考訳（メタデータ） (2023-01-17T11:45:51Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Tractable Boolean and Arithmetic Circuits [11.358487655918676]
  トラクタブル回路の基礎と関連するマイルストーンについて概観する。 我々は、ニューロシンボリックAIの幅広い目的に特に役立つ彼らのコア特性と技術に焦点を当てる。
  論文  参考訳（メタデータ） (2022-02-07T05:01:38Z)
• Monolithic Silicon Photonic Architecture for Training Deep Neural Networks with Direct Feedback Alignment [0.6501025489527172]
  CMOS互換シリコンフォトニックアーキテクチャによって実現されたニューラルネットワークのオンチップトレーニングを提案する。 提案手法では,エラーのバックプロパゲーションではなく,エラーフィードバックを用いてニューラルネットワークをトレーニングする,直接フィードバックアライメントトレーニングアルゴリズムを用いる。 オンチップMAC演算結果を用いて,MNISTデータセットを用いたディープニューラルネットワークのトレーニング実験を行った。
  論文  参考訳（メタデータ） (2021-11-12T18:31:51Z)
• On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
  オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。 提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-11-21T19:44:19Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。