論文の概要: Matrix-Free Least Squares Solvers: Values, Gradients, and What to Do With Them

• arxiv url: http://arxiv.org/abs/2510.19634v1
• Date: Wed, 22 Oct 2025 14:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.927886
• Title: Matrix-Free Least Squares Solvers: Values, Gradients, and What to Do With Them
• Title（参考訳）: 行列なしの最小二乗法:値、勾配、そしてテーマで何をすべきか
• Authors: Hrittik Roy, Søren Hauberg, Nicholas Krämer,
• Abstract要約: 本稿では,少なくとも2乗法は,現代の機械学習において有意な未充足可能性を持っていることを論じる。 そのポテンシャルを解放するために、ニューラルネットワーク層のような微分可能な演算子に変換するカスタム勾配を導出します。
• 参考スコア（独自算出の注目度）: 17.808832664329426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper argues that the method of least squares has significant unfulfilled potential in modern machine learning, far beyond merely being a tool for fitting linear models. To release its potential, we derive custom gradients that transform the solver into a differentiable operator, like a neural network layer, enabling many diverse applications. Empirically, we demonstrate: (i) scalability by enforcing weight sparsity on a 50 million parameter model; (ii) imposing conservativeness constraints in score-based generative models; and (iii) hyperparameter tuning of Gaussian processes based on predictive performance. By doing this, our work represents the next iteration in developing differentiable linear-algebra tools and making them widely accessible to machine learning practitioners.
• Abstract（参考訳）: 本稿は、最小二乗法は、単に線形モデルに適合するツールであるだけでなく、現代の機械学習において有意な未充足可能性を持っていることを論じる。 そのポテンシャルを解放するために、我々は、解法をニューラルネットワーク層のような微分可能な演算子に変換するカスタム勾配を導出し、多くの多様なアプリケーションを可能にします。 経験的に、私たちは次のように示します。 一 5000万のパラメータモデルに重み間隔を課すことによる拡張性 (二 スコアベース生成モデルにおける保守性制約を課すこと。) 3)予測性能に基づくガウス過程のハイパーパラメータチューニング これを行うことで、当社の作業は、微分可能な線形代数ツールを開発し、機械学習実践者に広くアクセスできるようにするための次のイテレーションを表します。

関連論文リスト

• Online learning to accelerate nonlinear PDE solvers: applied to multiphase porous media flow [0.0]
  オンライン/適応学習に基づく非線形偏微分方程式系(PDE)に対する新しい非線形解法加速法を提案する。 提案手法は,機械学習モデルの入力パラメータとしての次元レス数,オフライントレーニングのための単純化された数値モデル(2次元),非線形ソルバチューニングパラメータの動的制御(数値緩和),学習モデルのリアルタイム改善のためのオンライン学習の4つの柱に頼っている。
  論文  参考訳（メタデータ） (2025-04-25T15:15:45Z)
• DimINO: Dimension-Informed Neural Operator Learning [41.37905663176428]
  Diminoは次元分析にインスパイアされたフレームワークである。 既存のニューラル演算子アーキテクチャにシームレスに統合することができる。 PDEデータセットで最大76.3%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models [0.0]
  この論文は制約のない非線形最適化問題を考察している。 このような問題の解決を可能にする鍵となる量である勾配そのものに着目する。 決定論と要素の双方に関わる問題の勾配を計算するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T14:41:58Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Multi-GPU Approach for Training of Graph ML Models on large CFD Meshes [0.0]
  メッシュベースの数値解法は多くのデザインツールチェーンにおいて重要な部分である。 機械学習に基づく代理モデルは近似解を予測するのに速いが、精度に欠けることが多い。 本稿では、グラフベース機械学習の領域から産業関連メッシュサイズまで、最先端のサロゲートモデルをスケールする。
  論文  参考訳（メタデータ） (2023-07-25T15:49:25Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Differentiable Spline Approximations [48.10988598845873]
  微分プログラミングは機械学習のスコープを大幅に強化した。 標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。 この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-10-04T16:04:46Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Non-intrusive Nonlinear Model Reduction via Machine Learning Approximations to Low-dimensional Operators [0.0]
  本稿では,従来の非侵入的手法を用いて,従来型の侵入的縮小順序モデルを正確に近似する手法を提案する。 この手法は、現代の機械学習回帰手法を用いて、プロジェクションベースのリダクションオーダーモデル(ROM)に関連する低次元演算子を近似する。 非侵襲性を実現することに加えて、このアプローチが計算の複雑さを極端に低くし、最大1000ドル程度の実行時間削減を実現することを実証する。
  論文  参考訳（メタデータ） (2021-06-17T17:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。