論文の概要: Learning to Discover Iterative Spectral Algorithms

• arxiv url: http://arxiv.org/abs/2602.09530v1
• Date: Tue, 10 Feb 2026 08:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.454194
• Title: Learning to Discover Iterative Spectral Algorithms
• Title（参考訳）: 反復スペクトルアルゴリズムの学習
• Authors: Zihang Liu, Oleg Balabanov, Yaoqing Yang, Michael W. Mahoney,
• Abstract要約: AutoSpecは、大規模数値線形代数の反復スペクトルアルゴリズムを発見するニューラルネットワークフレームワークである。 代用数値線形代数タスクの探索アルゴリズムにAutoSpecを適用した。 実世界の解法では、学習された手順は精度および/またはカウントの減少のオーダー・オブ・マグニチュードの改善をもたらす。
• 参考スコア（独自算出の注目度）: 46.39331984989963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce AutoSpec, a neural network framework for discovering iterative spectral algorithms for large-scale numerical linear algebra and numerical optimization. Our self-supervised models adapt to input operators using coarse spectral information (e.g., eigenvalue estimates and residual norms), and they predict recurrence coefficients for computing or applying a matrix polynomial tailored to a downstream task. The effectiveness of AutoSpec relies on three ingredients: an architecture whose inference pass implements short, executable numerical linear algebra recurrences; efficient training on small synthetic problems with transfer to large-scale real-world operators; and task-defined objectives that enforce the desired approximation or preconditioning behavior across the range of spectral profiles represented in the training set. We apply AutoSpec to discovering algorithms for representative numerical linear algebra tasks: accelerating matrix-function approximation; accelerating sparse linear solvers; and spectral filtering/preconditioning for eigenvalue computations. On real-world matrices, the learned procedures deliver orders-of-magnitude improvements in accuracy and/or reductions in iteration count, relative to basic baselines. We also find clear connections to classical theory: the induced polynomials often exhibit near-equiripple, near-minimax behavior characteristic of Chebyshev polynomials.
• Abstract（参考訳）: 本稿では,大規模数値線形代数と数値最適化のための反復スペクトルアルゴリズムを探索するニューラルネットワークフレームワークであるAutoSpecを紹介する。 我々の自己教師型モデルは、粗いスペクトル情報(例えば、固有値推定および残留ノルム)を用いて入力演算子に適応し、下流タスクに適した行列多項式を演算または適用するための繰り返し係数を予測する。 AutoSpecの有効性は、3つの要素に依存している: 推論パスが短い、実行可能な数値線形代数の繰り返しを実装するアーキテクチャ、大規模な実世界のオペレーターに転送する小さな合成問題に対する効率的なトレーニング、およびトレーニングセットに表されるスペクトルプロファイルの範囲にわたって所望の近似や事前条件の振る舞いを強制するタスク定義の目的である。 本稿では,行列関数近似の高速化,スパース線形解の高速化,固有値計算のスペクトルフィルタリング・プレコンディショニングなど,代表的な線形代数問題に対するアルゴリズムの発見にAutoSpecを適用した。 実世界の行列では、学習された手順は、基本的なベースラインと比較して、精度および/またはイテレーションカウントの精度および/または削減のオーダー・オブ・マグニチュードの改善を提供する。 誘導多項式は、しばしばチェビシェフ多項式のほぼ平衡、準極小挙動特性を示す。

関連論文リスト

• PRISM: Distribution-free Adaptive Computation of Matrix Functions for Accelerating Neural Network Training [47.80717552769429]
  本稿では,行列関数の計算アルゴリズムを高速化するフレームワークであるPRISM(Polynomial-fitting and Randomized Iterative Sketching for Matrix function)を提案する。 PRISMは適応近似とランダムなスケッチを組み合わせ、各イテレーションにおいて、スケッチされた最小二乗問題を介して現在のスペクトルに代理する。 従来の方法とは異なり、PRISMは明示的なスペクトル境界や特異値推定を必要とせず、進化するスペクトルに自動的に適応する。
  論文  参考訳（メタデータ） (2026-01-29T18:55:46Z)
• Learning Linear Attention in Polynomial Time [127.14106124669645]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Learning incomplete factorization preconditioners for GMRES [1.1519724914285523]
  行列分解を直接近似するためにグラフニューラルネットワークを訓練する。 グラフニューラルネットワークアーキテクチャを適用することで、出力自体がスパースであることを保証することができます。 GMRESの繰り返し回数を減らし、合成データに対するスペクトル特性を改善する効果を示す。
  論文  参考訳（メタデータ） (2024-09-12T17:55:44Z)
• Operator SVD with Neural Networks via Nested Low-Rank Approximation [19.562492156734653]
  本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。 最上位の$L$特異値と特異関数を正しい順序で学習するためのエンフェンシングと呼ばれる新しい手法。 本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-06T03:06:06Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。