論文の概要: Sparse Interpretable Deep Learning with LIES Networks for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2506.08267v1
• Date: Mon, 09 Jun 2025 22:05:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.856626
• Title: Sparse Interpretable Deep Learning with LIES Networks for Symbolic Regression
• Title（参考訳）: シンボル回帰のためのLIESネットワークによるスパース解釈型深層学習
• Authors: Mansooreh Montazerin, Majd Al Aawar, Antonio Ortega, Ajitesh Srivastava,
• Abstract要約: 記号回帰は、データを正確に記述する閉形式の数学的表現を発見することを目的としている。 既存のSR手法は、しばしば人口に基づく探索や自己回帰モデリングに依存している。 LIES(Logarithm, Identity, Exponential, Sine)は,シンボル表現のモデル化に最適化された,解釈可能なプリミティブアクティベーションを備えたニューラルネットワークアーキテクチャである。
• 参考スコア（独自算出の注目度）: 22.345828337550575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression (SR) aims to discover closed-form mathematical expressions that accurately describe data, offering interpretability and analytical insight beyond standard black-box models. Existing SR methods often rely on population-based search or autoregressive modeling, which struggle with scalability and symbolic consistency. We introduce LIES (Logarithm, Identity, Exponential, Sine), a fixed neural network architecture with interpretable primitive activations that are optimized to model symbolic expressions. We develop a framework to extract compact formulae from LIES networks by training with an appropriate oversampling strategy and a tailored loss function to promote sparsity and to prevent gradient instability. After training, it applies additional pruning strategies to further simplify the learned expressions into compact formulae. Our experiments on SR benchmarks show that the LIES framework consistently produces sparse and accurate symbolic formulae outperforming all baselines. We also demonstrate the importance of each design component through ablation studies.
• Abstract（参考訳）: シンボリック回帰(SR)は、データを正確に記述し、標準的なブラックボックスモデルを超えた解釈可能性と分析的な洞察を提供する、クローズド形式の数学的表現を発見することを目的としている。 既存のSR手法は、しばしば、拡張性や象徴的な一貫性に苦しむ、人口ベースの探索や自己回帰モデリングに依存している。 LIES(Logarithm, Identity, Exponential, Sine)は,シンボル表現のモデル化に最適化された,解釈可能なプリミティブアクティベーションを備えたニューラルネットワークアーキテクチャである。 LIESネットワークからコンパクトな公式を抽出するためのフレームワークを,適切なオーバーサンプリング戦略と調整された損失関数を用いて訓練し,疎性を促進し,勾配不安定を防止する。 訓練後、学習した式をコンパクトな公式に単純化するために、追加のプルーニング戦略を適用する。 SRベンチマーク実験により, LIESフレームワークは, 全ベースラインを上回り, 厳密かつ正確な記号式を連続的に生成することを示した。 また,各設計要素の重要性をアブレーション研究を通じて示す。

関連論文リスト

• A Statistical Theory of Contrastive Learning via Approximate Sufficient Statistics [19.24473530318175]
  我々はデータ拡張に基づくコントラスト学習を解析するための新しい理論フレームワークを開発した。 我々は,SimCLRなどのコントラスト損失を最小化すれば,ほぼ十分エンコーダが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-21T21:07:18Z)
• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• Training Strategies for Isolated Sign Language Recognition [72.27323884094953]
  本稿では,孤立手話認識のための包括的モデル学習パイプラインを提案する。 構築されたパイプラインには、慎重に選択された画像とビデオの拡張が含まれており、低いデータ品質とさまざまなサインスピードの課題に対処している。
  論文  参考訳（メタデータ） (2024-12-16T08:37:58Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• ISR: Invertible Symbolic Regression [7.499800486499609]
  Invertible Symbolic Regression(インバーティブル・シンボリック・レグレッション・レグレッション)は、あるデータセットの入力と出力の間の分析的関係を生成する機械学習技術である。 INNのアフィン結合ブロックをシンボリック・フレームワークに変換し、エンドツーエンドで微分可能なシンボリック・インバータブル・アーキテクチャを実現する。 ISRは密度推定タスクの(象徴的な)正規化フローとして機能することを示す。
  論文  参考訳（メタデータ） (2024-05-10T23:20:46Z)
• SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning for Compression [1.0356366043809717]
  モデル圧縮技術として特別に設計された記号回帰に対するニューラルネットワークアプローチである$ttSymbolNet$を提案する。 このフレームワークは、単一のトレーニングプロセスにおいてモデルウェイト、入力特徴、数学的演算子の動的プルーニングを可能にする。
  論文  参考訳（メタデータ） (2024-01-18T12:51:38Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Transformer-based Planning for Symbolic Regression [18.90700817248397]
  シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。 従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。 我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
  論文  参考訳（メタデータ） (2023-03-13T03:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。