論文の概要: Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression

• arxiv url: http://arxiv.org/abs/2607.21855v1
• Date: Thu, 23 Jul 2026 22:49:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.010711
• Title: Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
• Title（参考訳）: フィードフォワードニューラルネットワークの重み更新規則の空間探索
• Abstract要約: 記号回帰は,小型の記号回帰ベンチマークにおいて,標準的な手設計よりも優れた明示的なネットワーク重み付け規則を発見できるかどうかを考察する。 30のベンチマーク/神経ネットワークの組み合わせで、シンボリックレグレッション手順は25のケースで最高のハイパーパラメータを調整した更新ルールを上回り、改善されたケースに対して総合MSEは44.47%減少した。 これらの結果から, 記号回帰はコンパクトな変種を発見するための軽量な機構として機能し, 大規模検証の必要性も浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether symbolic regression can discover explicit neural network weight-update rules that outperform standard hand-designed optimizers on small symbolic regression benchmarks. Candidate update rules are represented as fixed-depth symbolic expressions over operands derived from common optimizers, including gradient, momentum, adaptive-gradient, and moment-estimate quantities. Across 30 benchmark/neural network combinations, the symbolic regression procedure found an update rule outperforming the best hyperparameter-tuned established optimizer in 25 cases, with an aggregate MSE reduction of 44.47\% over the improved cases. The discovered rules do not all share a single common symbolic form, but many combine adaptive normalization, momentum-like quantities, nonlinear transformations, and rational expressions. These results suggest that symbolic regression can serve as a lightweight mechanism for discovering compact optimizer variants, while also highlighting the need for larger-scale validation.
• Abstract（参考訳）: 我々は,記号回帰が,手設計の標準オプティマイザよりも優れた明示的なニューラルネットワーク重み付け規則を,小さな記号回帰ベンチマークで発見できるかどうかを検討する。 候補更新規則は、勾配、運動量、適応段階、モーメント推定量を含む共通のオプティマイザから導かれるオペランド上の固定深度シンボル表現として表現される。 30のベンチマーク/神経ネットワークの組み合わせで、シンボリックレグレッション手順は、25のケースで最高のハイパーパラメータ調整された確立されたオプティマイザを上回り、改善されたケースに対して総合的なMSEの減少率は44.47\%となった。 発見された規則は、すべて単一の共通の記号形式を共有するのではなく、適応正規化、運動量のような量、非線形変換、有理表現を組み合わせたものが多い。 これらの結果から,シンボリック回帰はコンパクトなオプティマイザの変種を発見するための軽量な機構として機能し,大規模検証の必要性を強調した。

関連論文リスト

• Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
  画像復元は本質的に逆問題である。 非厳密対称性を制約として、復元逆問題を定式化する。 最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:22:19Z)
• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Bayesian Symbolic Regression via Posterior Sampling [0.0]
  記号回帰はデータから直接支配方程式を発見する強力なツールであるが、ノイズに対する感度はより広い応用を妨げる。 本稿では,記号表現上の後部分布を近似したベイズ記号回帰のための逐次モンテカルロフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-11T17:38:20Z)
• Beyond Least Squares: Robust Regression Transformer (R2T) [0.0]
  本稿では,変換器エンコーダが数値列を処理し,圧縮NNがシンボルパラメータを予測し,固定されたシンボル方程式が元のシーケンスを再構成するハイブリッド型ニューラルシンボリックアーキテクチャを提案する。 学習目的は、合成データを用いて、非対称な構造雑音を加えて元の配列を復元し、ニューラルネットワークのパラメータ推定によって導かれる記号的フィットを効果的に学習することである。 合成ウェアラブルデータに対する6e-6から3.5e-5の中央値回帰MSEは,ハマーロスやソフトL1のような最小二乗法やロバスト回帰技術と比較して10～300倍改善されている。
  論文  参考訳（メタデータ） (2025-08-04T20:03:13Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning for Compression [1.0356366043809717]
  モデル圧縮技術として特別に設計された記号回帰に対するニューラルネットワークアプローチである$ttSymbolNet$を提案する。 このフレームワークは、単一のトレーニングプロセスにおいてモデルウェイト、入力特徴、数学的演算子の動的プルーニングを可能にする。
  論文  参考訳（メタデータ） (2024-01-18T12:51:38Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• A Novel Sparse Regularizer [0.0]
  本稿では,最適化時にモデルに適用されるエントロピーの新たな尺度を最小化する正規化器を提案する。 微分可能で、単純で高速で計算し、スケール不変であり、簡単な量の追加メモリを必要とし、容易に並列化できる。
  論文  参考訳（メタデータ） (2023-01-18T03:17:36Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。