論文の概要: Accelerating Regularized Attention Kernel Regression for Spectrum Cartography

• arxiv url: http://arxiv.org/abs/2604.25138v1
• Date: Tue, 28 Apr 2026 02:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.671587
• Title: Accelerating Regularized Attention Kernel Regression for Spectrum Cartography
• Title（参考訳）: スペクトラムカルトグラフィーにおける正規化アテンションカーネル回帰の高速化
• Abstract要約: 本稿では,学習に基づく注意カーネル回帰(LAKER)アルゴリズムを提案する。 鍵となる考え方は、アテンションカーネルシステムの逆スペクトル構造をキャプチャするデータ依存プリコンディショナーを学習することである。 実験により、LAKERは最大3桁の条件数を大幅に削減し、ベースラインに比べて20倍以上の収束を加速し、高い復元精度を維持することが示された。
• 参考スコア（独自算出の注目度）: 1.9651461643699661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectrum cartography reconstructs spatial radio fields from sparse and heterogeneous wireless measurements, underpinning many sensing and optimization tasks in wireless networks. Attention mechanisms have recently enabled adaptive measurement aggregation via attention kernel-based formulations. However, the resulting exponential kernels exhibit severe spectral imbalance, inducing large condition numbers that render standard iterative solvers ineffective for regularized attention kernel regression. This paper proposes a Learning-based Attention Kernel Regression (LAKER) algorithm for accelerating regularized attention kernel regression in spectrum cartography. The key idea is to learn a data-dependent preconditioner that captures the inverse spectral structure of the attention kernel system, directly reducing the condition number bottleneck. The preconditioner is obtained by solving a regularized maximum-likelihood estimation problem via a shrinkage-regularized convex--concave procedure, and is integrated with a preconditioned conjugate gradient solver for efficient optimization, whose solution is used for radio map reconstruction. Extensive experiments demonstrate that LAKER significantly reduces condition numbers by up to three orders of magnitude, accelerates convergence by over twenty-fold compared to baselines, and maintains high reconstruction accuracy, establishing learning-based preconditioning as an effective approach for attention kernel regression in spectrum cartography.
• Abstract（参考訳）: スペクトルカルトグラフィーは、無線ネットワークにおける多くのセンシングおよび最適化タスクの基盤となる、スパースとヘテロジニアスな無線測定から空間無線場を再構築する。 注意機構は、最近、注意カーネルベースの定式化による適応的な測定アグリゲーションを可能にした。 しかし、結果として生じる指数核はスペクトル不均衡が激しく、標準反復解法を正規化されたカーネルの回帰に非効率にする大きな条件数値を誘導する。 本稿では,学習に基づく注意カーネル回帰(LAKER)アルゴリズムを提案する。 鍵となる考え方は、アテンションカーネルシステムの逆スペクトル構造を捕捉し、条件数ボトルネックを直接低減するデータ依存型プリコンディショナーを学習することである。 本発明のプレコンディショナーは、収縮正則化された凸凸凹法による正則化最大形推定問題を解き、その解法を無線地図再構成に用いた効率的な最適化のために、プレコンディショナー付き共役勾配解器と一体化して得られる。 広汎な実験により、LAKERは条件数を最大3桁まで減少させ、ベースラインよりも20倍以上の収束を加速し、高い再構成精度を維持し、スペクトル地図における注目カーネル回帰の効果的なアプローチとして学習ベースプレコンディショニングを確立する。

関連論文リスト

• Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion [82.7007012514703]
  偏極的目的の下では、線形注意は準最適であり、トレーニング分布に対して平均スペクトル偏極フィルタを学習することしかできないことを示す。 本稿では、入力グラフスペクトルを直接利用し、分布のスペクトル多様性に支配されるマージンによって線形注意を確実に上回るスペクトル注意法を提案する。 ブロックモデルでは、GCAは理想化されたスペクトルアテンション機構に確実に適合する。
  論文  参考訳（メタデータ） (2026-07-07T17:52:17Z)
• Iterative Refinement Neural Operators are Learned Fixed-Point Solvers: A Principled Approach to Spectral Bias Mitigation [18.745286331950133]
  イテレーティブ・リファインメント・ニューラル・オペレータ(IRNO)は、学習されたリファインメント・モジュールを固定点反復で繰り返し適用することで、事前訓練された演算子を増強する。 物理的システム全体では、IRNOは連続的にエラーを減少させ、乱流の56.05%まで改善した。 アクティブマターでは、スペクトル分析により、ベース演算子と比較して、正規化誤差比が27.72-36.10%、中間で5.07-6.68%、高周波で1.48-2.04%に低下していることが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T19:41:51Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Exact Linear Attention [0.0]
  Exact Linear Attention (ELA) はカーネル関数の正確な分解特性を利用してトランスフォーマー注意のための線形計算複雑性を実現する。 ELAは最大で6倍高速な復号化とKVキャッシュメモリ使用率の75%削減を実現している。 我々は、線形アテンション原理を視覚モデルに拡張し、最大4.3倍のGPU推論速度と7.9倍のパラメータ削減を競合検出精度で達成するYOLO-LATを得る。
  論文  参考訳（メタデータ） (2026-05-13T08:06:48Z)
• STARK denoises spatial transcriptomics images via adaptive regularization [3.8065244182878613]
  超低シークエンシング深さの数値構造において, 細胞同一性を明らかにするのに特に有効であるトランスクリプトミクス画像の復号化手法を提案する。 適応正規化とカーネル反復(STARK)による空間的トランスクリプトミクス(Spatial Transcriptomics)は、競合する手法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-12-10T06:19:13Z)
• Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions [3.308257914042897]
  本稿では,大規模教師あり学習のための新しいカーネル勾配統合下降アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。
  論文  参考訳（メタデータ） (2025-10-05T15:04:03Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Overcoming the Spectral Bias of Neural Value Approximation [17.546011419043644]
  ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。 我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:59:57Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。