論文の概要: Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures

• arxiv url: http://arxiv.org/abs/2603.16376v1
• Date: Tue, 17 Mar 2026 11:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.235533
• Title: Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures
• Title（参考訳）: 事前インフォームドニューラルネットワーク初期化:関数パラメータ化アーキテクチャのスペクトル的アプローチ
• Authors: David Orlando Salazar Torres, Diyar Altinses, Andreas Schwung,
• Abstract要約: 本稿では,データ固有のスペクトルと時間構造を利用する事前インフォームド設計手法を提案する。 ファストフーリエ変換(Fast Fourier Transform)を用いて、支配的な季節前兆を抽出する原理的手法が導入された。 合成および実世界のベンチマークの実験は、データ駆動の事前の埋め込みが収束を著しく加速することを示した。
• 参考スコア（独自算出の注目度）: 3.0098885383612104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network architectures designed for function parameterization, such as the Bag-of-Functions (BoF) framework, bridge the gap between the expressivity of deep learning and the interpretability of classical signal processing. However, these models are inherently sensitive to parameter initialization, as traditional data-agnostic schemes fail to capture the structural properties of the target signals, often leading to suboptimal convergence. In this work, we propose a prior-informed design strategy that leverages the intrinsic spectral and temporal structure of the data to guide both network initialization and architectural configuration. A principled methodology is introduced that uses the Fast Fourier Transform to extract dominant seasonal priors, informing model depth and initial states, and a residual-based regression approach to parameterize trend components. Crucially, this structural alignment enables a substantial reduction in encoder dimensionality without compromising reconstruction fidelity. A supporting theoretical analysis provides guidance on trend estimation under finite-sample regimes. Extensive experiments on synthetic and real-world benchmarks demonstrate that embedding data-driven priors significantly accelerates convergence, reduces performance variability across trials, and improves computational efficiency. Overall, the proposed framework enables more compact and interpretable architectures while outperforming standard initialization baselines, without altering the core training procedure.
• Abstract（参考訳）: Bag-of-Functions (BoF)フレームワークのような関数パラメータ化のために設計されたニューラルネットワークアーキテクチャは、ディープラーニングの表現性と古典的な信号処理の解釈可能性の間のギャップを埋める。 しかし、これらのモデルはパラメータの初期化に本質的に敏感であり、従来のデータに依存しないスキームはターゲット信号の構造的特性を捉えず、しばしば準最適収束をもたらす。 本研究では,ネットワーク初期化とアーキテクチャ構成の両方を導くために,データ固有のスペクトルと時間構造を利用する事前インフォームド設計手法を提案する。 ファストフーリエ変換を用いて、支配的な季節前兆を抽出し、モデル深度と初期状態を報知し、トレンド成分をパラメータ化するための残留回帰アプローチを導入する。 重要なことに、この構造アライメントは、再構成忠実度を損なうことなく、エンコーダ次元の大幅な低減を可能にする。 支持理論解析は、有限サンプル状態下でのトレンド推定のガイダンスを提供する。 合成および実世界のベンチマークに関する大規模な実験は、データ駆動の事前の埋め込みが収束を著しく加速し、試行間での性能変動を低減し、計算効率を向上させることを実証している。 全体として、提案フレームワークは、コアトレーニング手順を変更することなく、標準初期化ベースラインを上回っながら、よりコンパクトで解釈可能なアーキテクチャを実現する。

関連論文リスト

• StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
  本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。 我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。 スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T11:35:05Z)
• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning [5.69600290598441]
  目標は、訓練中の微調整効率と構造意識の両方を改善することである。 重み付きグラフを構築し、周波数領域モデリングを可能にするためにラプラシアンスペクトル分解を適用した。 最適化フェーズ中にスペクトルフィルタリング機構を導入し、モデルのトレーニング安定性と収束挙動を向上させる。
  論文  参考訳（メタデータ） (2025-04-28T08:42:35Z)
• Tuning-Free Structured Sparse PCA via Deep Unfolding Networks [5.931547772157972]
  教師なし特徴選択(UFS)のための新しいタイプのスパース主成分分析(PCA)を提案する。 解釈可能な深層展開ネットワークを使用して、反復最適化ステップをトレーニング可能なニューラルネットワークに変換する。 この革新は、従来の手法の経験的チューニング要求を効果的に回避し、正規化パラメータの自動学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-28T08:32:51Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。