論文の概要: A universal linearized subspace refinement framework for neural networks

• arxiv url: http://arxiv.org/abs/2601.13989v1
• Date: Tue, 20 Jan 2026 14:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.341152
• Title: A universal linearized subspace refinement framework for neural networks
• Title（参考訳）: ニューラルネットワークのための普遍線形化部分空間精製フレームワーク
• Authors: Wenbo Cao, Weiwei Zhang,
• Abstract要約: 本稿では、LSR(Linearized Subspace Refinement)を導入し、LSR(Linearized Subspace Refinement)とLSR(Linearized Subspace Refinement)について述べる。 LSRは、標準学習された解よりも精度が大幅に向上した洗練された予測器を得る。 複合損失構造に関する問題に対しては、一発LSRと教師付き非線形アライメントを交互に行うIterative LSRを導入する。
• 参考スコア（独自算出の注目度）: 1.636137854123538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are predominantly trained using gradient-based methods, yet in many applications their final predictions remain far from the accuracy attainable within the model's expressive capacity. We introduce Linearized Subspace Refinement (LSR), a general and architecture-agnostic framework that exploits the Jacobian-induced linear residual model at a fixed trained network state. By solving a reduced direct least-squares problem within this subspace, LSR computes a subspace-optimal solution of the linearized residual model, yielding a refined linear predictor with substantially improved accuracy over standard gradient-trained solutions, without modifying network architectures, loss formulations, or training procedures. Across supervised function approximation, data-driven operator learning, and physics-informed operator fine-tuning, we show that gradient-based training often fails to access this attainable accuracy, even when local linearization yields a convex problem. This observation indicates that loss-induced numerical ill-conditioning, rather than nonconvexity or model expressivity, can constitute a dominant practical bottleneck. In contrast, one-shot LSR systematically exposes accuracy levels not fully exploited by gradient-based training, frequently achieving order-of-magnitude error reductions. For operator-constrained problems with composite loss structures, we further introduce Iterative LSR, which alternates one-shot LSR with supervised nonlinear alignment, transforming ill-conditioned residual minimization into numerically benign fitting steps and yielding accelerated convergence and improved accuracy. By bridging nonlinear neural representations with reduced-order linear solvers at fixed linearization points, LSR provides a numerically grounded and broadly applicable refinement framework for supervised learning, operator learning, and scientific computing.
• Abstract（参考訳）: ニューラルネットワークは主に勾配に基づく手法を用いて訓練されているが、多くのアプリケーションでは、最終的な予測はモデルの表現能力内で達成可能な精度から程遠いままである。 本稿では,ヤコビアンによる線形残差モデルを利用した,一般およびアーキテクチャに依存しないフレームワークである線形化部分空間再分極(LSR)について述べる。 この部分空間内での最小二乗問題を減らし、LSRは線形化残差モデルの部分空間最適解を計算し、ネットワークアーキテクチャや損失定式化、訓練手順を変更することなく、標準的な勾配学習された解よりも精度が大幅に向上した洗練された線形予測器を生成する。 教師付き関数近似、データ駆動型演算子学習、物理インフォームド演算子の微調整などを通じて、局所線形化が凸問題をもたらす場合であっても、勾配に基づく訓練が達成可能な精度に到達できないことを示す。 この結果から,非凸性やモデル表現性ではなく,損失による数値的不調和が支配的な現実的ボトルネックとなる可能性が示唆された。 対照的に、ワンショットLSRは、勾配ベースのトレーニングによって十分に活用されていない精度レベルを体系的に公開し、しばしばマグニチュードのオーダー・オブ・マグニチュード・エラー・リダクションを実現する。 複合損失構造を持つ演算子制約問題に対しては、一発LSRを教師付き非線形アライメントに置き換え、不条件残差最小化を数値的に良性なフィッティングステップに変換し、加速収束と精度の向上をもたらすイテレーティブLSRを導入する。 線形化点を小さくした線形解法で非線形神経表現をブリッジすることにより、LSRは教師付き学習、演算子学習、科学計算のための数値的基礎と広く適用可能な洗練フレームワークを提供する。

関連論文リスト

• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• S-Crescendo: A Nested Transformer Weaving Framework for Scalable Nonlinear System in S-Domain Representation [4.945568106952893]
  S-Crescendoは、スケーラブルな時間領域予測のために、ニューラルネットワークとSドメインを相乗化するネストトランスフォーマーウィービングフレームワークである。 HSPICEゴールデン波形に対して最大0.99のテストセット(R2$)精度を実現し,シミュレーションを最大18(X)高速化する。
  論文  参考訳（メタデータ） (2025-05-17T05:06:58Z)
• GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent [12.409030267572243]
  まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。 数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するため,アーキテクチャGLinSATを提案する。 これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
  論文  参考訳（メタデータ） (2024-09-26T03:12:53Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• On the Stability Properties and the Optimization Landscape of Training Problems with Squared Loss for Neural Networks and General Nonlinear Conic Approximation Schemes [0.0]
  ニューラルネットワークと一般的な非線形円錐近似スキームの2乗損失を伴うトレーニング問題の最適化景観と安定性特性について検討する。 これらの不安定性に寄与する同じ効果が、サドル点や急激な局所ミニマの出現の原因でもあることを証明している。
  論文  参考訳（メタデータ） (2020-11-06T11:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。