論文の概要: Neuro-Symbolic Activation Discovery: Transferring Mathematical Structures from Physics to Ecology for Parameter-Efficient Neural Networks

• arxiv url: http://arxiv.org/abs/2601.10740v1
• Date: Sat, 10 Jan 2026 02:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.221352
• Title: Neuro-Symbolic Activation Discovery: Transferring Mathematical Structures from Physics to Ecology for Parameter-Efficient Neural Networks
• Title（参考訳）: ニューロ・シンボリック・アクティベーション・ディスカバリー:パラメータ効率の良いニューラルネットワークのための物理からエコロジーへ数学的構造を移す
• Authors: Anas Hajbi,
• Abstract要約: 本稿では、遺伝的プログラミングを用いてデータから解釈可能な数学的公式を抽出するNeuro-Symbolic Activation Discoveryを提案する。 我々の重要な貢献は、幾何移動現象の発見である: 粒子物理学のデータから得られた活性化関数は、生態学的分類にうまく一般化する。 我々の研究は、効率的な科学的機械学習のためのドメイン固有のアクティベーションライブラリへの道を開く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural networks rely on generic activation functions (ReLU, GELU, SiLU) that ignore the mathematical structure inherent in scientific data. We propose Neuro-Symbolic Activation Discovery, a framework that uses Genetic Programming to extract interpretable mathematical formulas from data and inject them as custom activation functions. Our key contribution is the discovery of a Geometric Transfer phenomenon: activation functions learned from particle physics data successfully generalize to ecological classification, outperforming standard activations (ReLU, GELU, SiLU) in both accuracy and parameter efficiency. On the Forest Cover dataset, our Hybrid Transfer model achieves 82.4% accuracy with only 5,825 parameters, compared to 83.4% accuracy requiring 31,801 parameters for a conventional heavy network -- a 5.5x parameter reduction with only 1% accuracy loss. We introduce a Parameter Efficiency Score ($E_{param} = AUC / \log_{10}(Params)$) and demonstrate that lightweight hybrid architectures consistently achieve 18-21% higher efficiency than over-parameterized baselines. Crucially, we establish boundary conditions: while Physics to Ecology transfer succeeds (both involve continuous Euclidean measurements), Physics to Text transfer fails (discrete word frequencies require different mathematical structures). Our work opens pathways toward domain-specific activation libraries for efficient scientific machine learning.
• Abstract（参考訳）: 現代のニューラルネットワークは、科学データに固有の数学的構造を無視した一般的な活性化関数(ReLU、GELU、SiLU)に依存している。 本稿では、遺伝的プログラミングを用いて、データから解釈可能な数学的公式を抽出し、それらをカスタムアクティベーション関数として注入するフレームワークであるNeuro-Symbolic Activation Discoveryを提案する。 粒子物理データから得られた活性化関数は、生態分類に成功し、精度とパラメータ効率の両方で標準活性化(ReLU, GELU, SiLU)を上回った。 フォレストカバーデータセットでは、我々のハイブリッドトランスファーモデルは5,825のパラメータで82.4%の精度を達成しているが、従来の重ネットワークでは31,801のパラメータを必要とする83.4%の精度 – 1%の精度損失で5.5倍のパラメータ削減を実現している。 パラメータ効率スコア(E_{param} = AUC / \log_{10}(Params)$)を導入し、軽量ハイブリッドアーキテクチャがオーバーパラメータ化ベースラインよりも18-21%高い効率を達成することを示す。 物理学から生態学への変換が成功する(どちらも連続ユークリッド測度を含む)一方で、物理学からテキストへの転送は失敗する(単語の周波数は異なる数学的構造を必要とする)。 我々の研究は、効率的な科学的機械学習のためのドメイン固有のアクティベーションライブラリへの道を開く。

関連論文リスト

• Parameter-Efficient Conditioning for Material Generalization in Graph-Based Simulators [2.504298819189614]
  グラフネットワークベースのシミュレータ(GNS)は、粒子ベースの物理学を学ぶ強力な可能性を示している。 既存のモデルは通常、単一の素材タイプのために訓練され、異なる振る舞いを一般化することができない。 本稿では,GNSモデルを材料パラメータに適応させるパラメータ効率条件付け機構を提案する。
  論文  参考訳（メタデータ） (2025-11-07T17:55:35Z)
• MaNGO - Adaptable Graph Network Simulators via Meta-Learning [25.80703650406406]
  グラフネットワークシミュレータ(GNS)はより高速な推論を提供するが、2つの重要な制限がある。 物理的パラメータの小さなバリエーションのために、スクラッチから再訓練されなければならない。 これは非効率であり、パラメータの異なるシミュレーションは共通の潜在構造を共有することが多い。 本稿では,条件付きニューラルプロセスを用いて,グラフトラジェクトリを符号化して潜在表現を生成するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-10-07T12:44:24Z)
• Towards Understanding Feature Learning in Parameter Transfer [47.063219231351916]
  上流モデルと下流モデルの両方がReLU畳み込みニューラルネットワーク(CNN)である設定を解析する。 我々は、継承されたパラメータが普遍的な知識のキャリアとしてどのように振る舞うかを特徴付け、目的のタスクに対するそれらの有益な影響を増幅する重要な要因を識別する。 我々の分析は、ある場合において、新しいモデルをスクラッチからトレーニングするよりも、パラメータの転送がターゲットタスクのテスト精度を低下させる可能性がある理由を洞察する。
  論文  参考訳（メタデータ） (2025-09-26T08:37:54Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
  我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。 FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。 そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
  論文  参考訳（メタデータ） (2024-05-16T05:20:47Z)
• Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
  ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:48:08Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。