論文の概要: Highly Adaptive Principal Component Regression
- arxiv url: http://arxiv.org/abs/2602.10613v1
- Date: Wed, 11 Feb 2026 08:03:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 21:44:01.561251
- Title: Highly Adaptive Principal Component Regression
- Title(参考訳): 高適応主成分回帰
- Authors: Mingxun Wang, Alejandro Schuler, Mark van der Laan, Carlos García Meixide,
- Abstract要約: 主成分系高適応ラッソ(PCHAL)と主成分系高適応リッジ(PCHAR)を紹介する。
これらの推定器は、計算効率を大幅に向上させる結果-ブラインド次元の縮小を構成する。
また,HAL/HARグラハム演算子の主成分と離散正弦波基底との有意なスペクトルリンクを明らかにした。
- 参考スコア(独自算出の注目度): 39.3660558859577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Highly Adaptive Lasso (HAL) is a nonparametric regression method that achieves almost dimension-free convergence rates under minimal smoothness assumptions, but its implementation can be computationally prohibitive in high dimensions due to the large basis matrix it requires. The Highly Adaptive Ridge (HAR) has been proposed as a scalable alternative. Building on both procedures, we introduce the Principal Component based Highly Adaptive Lasso (PCHAL) and Principal Component based Highly Adaptive Ridge (PCHAR). These estimators constitute an outcome-blind dimension reduction which offer substantial gains in computational efficiency and match the empirical performances of HAL and HAR. We also uncover a striking spectral link between the leading principal components of the HAL/HAR Gram operator and a discrete sinusoidal basis, revealing an explicit Fourier-type structure underlying the PC truncation.
- Abstract(参考訳): 高適応ラッソ (Highly Adaptive Lasso, HAL) は、最小の滑らかさ仮定の下でほぼ次元自由収束率を達成する非パラメトリック回帰法である。
Highly Adaptive Ridge (HAR) はスケーラブルな代替案として提案されている。
いずれの手順にもとづいて,PCHAL(Major Component Based Highly Adaptive Lasso)とPCHAR(Major Component Based Highly Adaptive Ridge)を導入する。
これらの推定器は、計算効率を大幅に向上させ、HALとHARの実証的な性能に匹敵する結果-ブラインド次元の縮小を構成する。
また,HAL/HARグラハム演算子の主成分と離散正弦波基底との有意なスペクトルリンクを明らかにし,PCトランケーションの基盤となるフーリエ型構造を明らかにした。
関連論文リスト
- OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation [9.048461365342204]
大規模言語モデル(LLM)のための新しいPEFT法であるOSoRAを提案する。
OSoRAは、微調整中にトレーニング可能なパラメータの数を最小化することで、計算リソースの要求を大幅に削減する。
数学的推論、常識推論、その他のベンチマークの総合的な評価は、OSoRAが最先端の手法と同等または優れた性能を達成していることを示している。
論文 参考訳(メタデータ) (2025-05-20T13:34:06Z) - LSR-Adapt: Ultra-Efficient Parameter Tuning with Matrix Low Separation Rank Kernel Adaptation [3.9426000822656224]
現代の大規模言語モデルの厳密な規模のため、低ランクベースの適応はますます困難になっている。
本稿では,適応タスクに必要なパラメータの数を減らすために,効果的なカーネル化を提案する。
従来の低ランク法に比べてパラメータの約半分の精度で最先端性能を実現する。
論文 参考訳(メタデータ) (2025-02-19T09:20:47Z) - Robust PCA Based on Adaptive Weighted Least Squares and Low-Rank Matrix Factorization [2.983818075226378]
本稿では,初期コンポーネント不安定時の適応重み係数更新を統合する新しいRPCAモデルを提案する。
提案手法は既存の非インスパイアされた正規化手法よりも優れた性能と効率を提供する。
論文 参考訳(メタデータ) (2024-12-19T08:31:42Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳(メタデータ) (2024-11-10T19:59:54Z) - Lassoed Tree Boosting [53.56229983630983]
有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。
我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
論文 参考訳(メタデータ) (2022-05-22T00:34:41Z) - An Adaptive Alternating-direction-method-based Nonnegative Latent Factor
Model [2.857044909410376]
交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。
本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。
産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
論文 参考訳(メタデータ) (2022-04-11T03:04:26Z) - Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。
平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。
BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
論文 参考訳(メタデータ) (2021-03-02T16:26:20Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳(メタデータ) (2020-12-08T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。