論文の概要: Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures
- arxiv url: http://arxiv.org/abs/2603.16376v1
- Date: Tue, 17 Mar 2026 11:08:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.235533
- Title: Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures
- Title（参考訳）: 事前インフォームドニューラルネットワーク初期化:関数パラメータ化アーキテクチャのスペクトル的アプローチ
- Abstract要約: 本稿では,データ固有のスペクトルと時間構造を利用する事前インフォームド設計手法を提案する。
ファストフーリエ変換(Fast Fourier Transform)を用いて、支配的な季節前兆を抽出する原理的手法が導入された。
合成および実世界のベンチマークの実験は、データ駆動の事前の埋め込みが収束を著しく加速することを示した。
- 参考スコア（独自算出の注目度）: 3.0098885383612104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network architectures designed for function parameterization, such as the Bag-of-Functions (BoF) framework, bridge the gap between the expressivity of deep learning and the interpretability of classical signal processing. However, these models are inherently sensitive to parameter initialization, as traditional data-agnostic schemes fail to capture the structural properties of the target signals, often leading to suboptimal convergence. In this work, we propose a prior-informed design strategy that leverages the intrinsic spectral and temporal structure of the data to guide both network initialization and architectural configuration. A principled methodology is introduced that uses the Fast Fourier Transform to extract dominant seasonal priors, informing model depth and initial states, and a residual-based regression approach to parameterize trend components. Crucially, this structural alignment enables a substantial reduction in encoder dimensionality without compromising reconstruction fidelity. A supporting theoretical analysis provides guidance on trend estimation under finite-sample regimes. Extensive experiments on synthetic and real-world benchmarks demonstrate that embedding data-driven priors significantly accelerates convergence, reduces performance variability across trials, and improves computational efficiency. Overall, the proposed framework enables more compact and interpretable architectures while outperforming standard initialization baselines, without altering the core training procedure.
- Abstract（参考訳）: Bag-of-Functions (BoF)フレームワークのような関数パラメータ化のために設計されたニューラルネットワークアーキテクチャは、ディープラーニングの表現性と古典的な信号処理の解釈可能性の間のギャップを埋める。
しかし、これらのモデルはパラメータの初期化に本質的に敏感であり、従来のデータに依存しないスキームはターゲット信号の構造的特性を捉えず、しばしば準最適収束をもたらす。
本研究では,ネットワーク初期化とアーキテクチャ構成の両方を導くために,データ固有のスペクトルと時間構造を利用する事前インフォームド設計手法を提案する。
ファストフーリエ変換を用いて、支配的な季節前兆を抽出し、モデル深度と初期状態を報知し、トレンド成分をパラメータ化するための残留回帰アプローチを導入する。
重要なことに、この構造アライメントは、再構成忠実度を損なうことなく、エンコーダ次元の大幅な低減を可能にする。
支持理論解析は、有限サンプル状態下でのトレンド推定のガイダンスを提供する。
合成および実世界のベンチマークに関する大規模な実験は、データ駆動の事前の埋め込みが収束を著しく加速し、試行間での性能変動を低減し、計算効率を向上させることを実証している。
全体として、提案フレームワークは、コアトレーニング手順を変更することなく、標準初期化ベースラインを上回っながら、よりコンパクトで解釈可能なアーキテクチャを実現する。
関連論文リスト
- From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search [9.003566823725441]
予測に基づくアプローチはニューラルアーキテクチャサーチ(NAS)において広く使われており、予測器は候補アーキテクチャのパフォーマンスを推定して選択を導く。
既存の予測器は、典型的には限られたサンプルに対する教師付き回帰によって訓練され、過度に適合し、目に見えないアーキテクチャへの一般化が不十分になる。
本稿では,メタ学習機能を備えた畳み込みニューラルプロセス(ConvNP)を用いて,条件付き関数推論問題としての性能予測をモデル化する基礎的な定式化を提案する。
論文 参考訳（メタデータ） (2026-05-10T03:34:39Z) - Large Vision-Language Models Get Lost in Attention [51.851592109135716]
本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。
注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
論文 参考訳（メタデータ） (2026-05-07T04:45:52Z) - Data-Driven Variational Basis Learning Beyond Neural Networks: A Non-Neural Framework for Adaptive Basis Discovery [0.0]
我々は,変分最適化により,データから直接基底関数を学習する非ニューラルな代替手法を開発した。
データ駆動変分基底学習(DVBL)と呼ばれる提案フレームワークは、基底原子を一次最適化変数として扱う。
これにより、明快で解釈可能で厳密な分析が可能なデータ適応基底展開が得られる。
論文 参考訳（メタデータ） (2026-04-17T23:01:34Z) - StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。
我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。
スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
論文 参考訳（メタデータ） (2026-03-02T11:35:05Z) - A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning [51.505728136705564]
我々は, 対角線ネットワークにおけるプレトレーニングファインチューニングパイプラインの解析理論を開発した。
異なる初期化選択により、ネットワークは4つの異なる微調整レジームに分類される。
以前の階層の縮小により、ネットワークは機能の再利用と洗練を両立することができ、より優れた一般化を実現している。
論文 参考訳（メタデータ） (2026-02-23T17:19:33Z) - Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。
推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
論文 参考訳（メタデータ） (2025-12-03T13:16:35Z) - Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning [5.69600290598441]
目標は、訓練中の微調整効率と構造意識の両方を改善することである。
重み付きグラフを構築し、周波数領域モデリングを可能にするためにラプラシアンスペクトル分解を適用した。
最適化フェーズ中にスペクトルフィルタリング機構を導入し、モデルのトレーニング安定性と収束挙動を向上させる。
論文 参考訳（メタデータ） (2025-04-28T08:42:35Z) - Tuning-Free Structured Sparse PCA via Deep Unfolding Networks [5.931547772157972]
教師なし特徴選択(UFS)のための新しいタイプのスパース主成分分析(PCA)を提案する。
解釈可能な深層展開ネットワークを使用して、反復最適化ステップをトレーニング可能なニューラルネットワークに変換する。
この革新は、従来の手法の経験的チューニング要求を効果的に回避し、正規化パラメータの自動学習を可能にする。
論文 参考訳（メタデータ） (2025-02-28T08:32:51Z) - Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。
我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文 参考訳（メタデータ） (2025-02-16T23:13:55Z) - Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。
我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。
バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-07-26T18:56:47Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - DessiLBI: Exploring Structural Sparsity of Deep Networks via
Differential Inclusion Paths [45.947140164621096]
逆スケール空間の差分包摂に基づく新しい手法を提案する。
DessiLBIが早期に「優勝チケット」を発表することを示す。
論文 参考訳（メタデータ） (2020-07-04T04:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。