論文の概要: SymTorch: A Framework for Symbolic Distillation of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2602.21307v1
• Date: Tue, 24 Feb 2026 19:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.581472
• Title: SymTorch: A Framework for Symbolic Distillation of Deep Neural Networks
• Title（参考訳）: SymTorch: ディープニューラルネットワークのシンボリック蒸留のためのフレームワーク
• Authors: Elizabeth S. Z. Tan, Adil Soubki, Miles Cranmer,
• Abstract要約: シンボリック蒸留は、ニューラルネットワークまたはその構成要素を解釈可能な閉形式の数学的表現に置き換える。 ニューラルネットワークコンポーネントをラップすることでこの蒸留を自動化するライブラリであるSymTorchを紹介する。 SymTorchは、CPUデータ転送、入出力キャッシュ、モデルシリアライゼーション、ニューラルネットワークとシンボルフォワードパスのシームレスな切り替えなど、採用を妨げるエンジニアリング上の課題を処理する。
• 参考スコア（独自算出の注目度）: 4.579990158655961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic distillation replaces neural networks, or components thereof, with interpretable, closed-form mathematical expressions. This approach has shown promise in discovering physical laws and mathematical relationships directly from trained deep learning models, yet adoption remains limited due to the engineering barrier of integrating symbolic regression into deep learning workflows. We introduce SymTorch, a library that automates this distillation by wrapping neural network components, collecting their input-output behavior, and approximating them with human-readable equations via PySR. SymTorch handles the engineering challenges that have hindered adoption: GPU-CPU data transfer, input-output caching, model serialization, and seamless switching between neural and symbolic forward passes. We demonstrate SymTorch across diverse architectures including GNNs, PINNs and transformer models. Finally, we present a proof-of-concept for accelerating LLM inference by replacing MLP layers with symbolic surrogates, achieving an 8.3\% throughput improvement with moderate performance degradation.
• Abstract（参考訳）: シンボリック蒸留は、ニューラルネットワークまたはその構成要素を解釈可能な閉形式の数学的表現に置き換える。 このアプローチは、訓練されたディープラーニングモデルから直接物理法則や数学的関係を発見することを約束している。 ニューラルネットワークコンポーネントをラップし、入力出力の挙動を収集し、PySRを介して人間可読方程式で近似することで、この蒸留を自動化するライブラリであるSymTorchを紹介する。 SymTorchは、GPU-CPUデータ転送、入出力キャッシュ、モデルシリアライゼーション、ニューラルネットワークとシンボルフォワードパスのシームレスな切り替えなど、採用を妨げるエンジニアリング上の課題を処理する。 我々は、GNN、PINN、トランスフォーマーモデルを含む多様なアーキテクチャでSymTorchを実証する。 最後に,MLP層をシンボルサロゲートに置き換え,8.3倍のスループット向上を実現し,低性能化を実現し,LCM推論を高速化するための概念実証を行う。

関連論文リスト

• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning for Compression [1.0356366043809717]
  モデル圧縮技術として特別に設計された記号回帰に対するニューラルネットワークアプローチである$ttSymbolNet$を提案する。 このフレームワークは、単一のトレーニングプロセスにおいてモデルウェイト、入力特徴、数学的演算子の動的プルーニングを可能にする。
  論文  参考訳（メタデータ） (2024-01-18T12:51:38Z)
• Symbolic Synthesis of Neural Networks [0.0]
  グラフベース合成ニューラルネットワーク(GSSNN)について GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。 人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
  論文  参考訳（メタデータ） (2023-03-06T18:13:14Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion [90.65667807498086]
  本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。 ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
  論文  参考訳（メタデータ） (2021-07-13T18:01:43Z)
• An error-propagation spiking neural network compatible with neuromorphic processors [2.432141667343098]
  本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。 本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。 この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
  論文  参考訳（メタデータ） (2021-04-12T07:21:08Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。