論文の概要: Differential Spectral Damping Gap Adaptive Regularization for Ill-Conditioned Kernel Methods

• arxiv url: http://arxiv.org/abs/2606.23407v1
• Date: Mon, 22 Jun 2026 14:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 19:11:15.917101
• Title: Differential Spectral Damping Gap Adaptive Regularization for Ill-Conditioned Kernel Methods
• Title（参考訳）: Ill-Conditioned Kernel法における差分スペクトル減衰ギャップ適応正則化
• Authors: Praveg Vashishtha,
• Abstract要約: 局所固有ギャップ構造に適応する正規化公式である差分スペクトル減衰法(DSD)を提案する。 私たちは、デービス=カーハンの$sin()$定理を基礎とした設計手順を通じて、DSDを動機付けます。 DSD は LSTSVM の分類精度を実世界のGINA 上で+4.8 ポイント向上することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel methods requiring matrix inversion -- particularly Least-Squares Twin Support Vector Machines (LSTSVM) -- suffer from exponential eigenvalue decay in their system matrices, producing severely ill-conditioned problems where standard Tikhonov regularization applies uniform damping regardless of eigenvector reliability. We propose Differential Spectral Damping (DSD), a regularization formula that adapts its penalty to localized eigengap structure: preserving eigenvectors with large spectral gaps (reliable per Davis-Kahan perturbation theory) while aggressively suppressing those with small gaps (directionally corrupted beyond recovery). We motivate DSD through a principled design procedure grounded in the Davis-Kahan $\sin(Θ)$ theorem, systematically deriving the requirements for a reliability-aware damping function and selecting the exponential form for its smoothness, differentiability, and natural saturation properties. Through rigorous paired testing with fairly optimized baselines (including gradient-optimized Tikhonov receiving equal optimization opportunity), we demonstrate that DSD improves LSTSVM classification accuracy by +4.8 percentage points on real-world GINA ($d=970$, Cohen's $d = 4.49$, $p < 0.0001$), +10.4 percentage points at $d=200$, and +2.6 percentage points on Madelon ($d=500$) -- all using only principled spectral initialization while Tikhonov receives grid search. For pre-image reconstruction on manifold data, DSD ties Tikhonov at high perturbation noise ($p=0.99$) but slightly underperforms at lower noise levels; both reduce naive inversion error by $66\times$. We characterize the precise operating regime ($d \geq 100$, condition number $> 10^3$) and document where simpler methods suffice, providing practitioners with clear deployment guidance.
• Abstract（参考訳）: 特にLSTSVM (Last-Squares Twin Support Vector Machines) を必要とするカーネルメソッドは、システム行列の指数的固有値減衰に悩まされ、標準のTikhonov正規化が固有ベクトルの信頼性に関係なく均一に減衰する問題を引き起こす。 局所固有ギャップ構造にペナルティを適応させる正規化公式である差分スペクトル減衰法(DSD)を提案する。 信頼性を考慮した減衰関数の要求を体系的に導出し、その滑らかさ、微分可能性、および自然飽和特性の指数形式を選択する。 高度に最適化されたベースラインによる厳密なペアテスト(等速最適化されたTikhonovの最適化機会を含む)を通じて、DSDはLSTSVMの分類精度を実世界のGINA(d=970$, Cohen's $d = 4.49$, $p < 0.00.0$), +10.4%(d=200$, +2.6%)で改善する。 多様体データに対する事前画像再構成では、高摂動雑音(p=0.99$)でTikhonovを結び、低騒音ではわずかに性能が低下する。 我々は、厳密な運用体制(d \geq 100$, condition number $> 10^3$)と、シンプルなメソッドが十分である文書を特徴付ける。

関連論文リスト

• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• On the Efficiency of Sinkhorn-Knopp for Entropically Regularized Optimal Transport [10.787490135016155]
  Sinkhorn-Knoppアルゴリズムは、行列スケーリングと最適輸送のための基礎的手法である。 本稿では,局所的なバルク質量特性である well-boundedness の概念を紹介する。 事実上コストのない事前スケーリングのステップは、次元依存を完全に排除することを示す。
  論文  参考訳（メタデータ） (2026-04-04T16:24:19Z)
• Spectral Tempering for Embedding Compression in Dense Passage Retrieval [17.660889990235656]
  最適スケーリング強度$$はグローバル定数ではないことを示す。 本研究では,適応的な$(k)$をコーパス固有スペクトルから直接導出する学習自由化手法であるSpectral Temperingを提案する。
  論文  参考訳（メタデータ） (2026-03-19T10:01:32Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
  勾配だけでヘッセンが明らかになることを示す。 我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
  論文  参考訳（メタデータ） (2026-01-26T14:50:16Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。