論文の概要: Fine-tuning Factor Augmented Neural Lasso for Heterogeneous Environments

• arxiv url: http://arxiv.org/abs/2604.12288v1
• Date: Tue, 14 Apr 2026 05:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.249067
• Title: Fine-tuning Factor Augmented Neural Lasso for Heterogeneous Environments
• Title（参考訳）: 不均一環境のための微細調整因子強化ニューラルラッソ
• Authors: Jinhang Chai, Jianqing Fan, Cheng Gao, Qishuo Yin,
• Abstract要約: 本稿では、FAN-Lasso(FAN-Lasso)の微細調整因子について紹介する。 FAN-Lassoは、可変選択を伴う高次元非パラメトリック回帰のための伝達学習フレームワークである。 標準ベースラインを一貫して上回り、厳密なターゲットサンプルサイズ制約の下でも、ほぼオーラルに近いパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 9.523993463071834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning is a widely used strategy for adapting pre-trained models to new tasks, yet its methodology and theoretical properties in high-dimensional nonparametric settings with variable selection have not yet been developed. This paper introduces the fine-tuning factor augmented neural Lasso (FAN-Lasso), a transfer learning framework for high-dimensional nonparametric regression with variable selection that simultaneously handles covariate and posterior shifts. We use a low-rank factor structure to manage high-dimensional dependent covariates and propose a novel residual fine-tuning decomposition in which the target function is expressed as a transformation of a frozen source function and other variables to achieve transfer learning and nonparametric variable selection. This augmented feature from the source predictor allows for the transfer of knowledge to the target domain and reduces model complexity there. We derive minimax-optimal excess risk bounds for the fine-tuning FAN-Lasso, characterizing the precise conditions, in terms of relative sample sizes and function complexities, under which fine-tuning yields statistical acceleration over single-task learning. The proposed framework also provides a theoretical perspective on parameter-efficient fine-tuning methods. Extensive numerical experiments across diverse covariate- and posterior-shift scenarios demonstrate that the fine-tuning FAN-Lasso consistently outperforms standard baselines and achieves near-oracle performance even under severe target sample size constraints, empirically validating the derived rates.
• Abstract（参考訳）: ファインチューニングは、事前訓練されたモデルを新しいタスクに適応させる戦略として広く用いられているが、その方法論と、変数選択を伴う高次元の非パラメトリック設定における理論的性質はまだ開発されていない。 本稿では,高次元非パラメトリック回帰のための伝達学習フレームワークFAN-Lassoを提案する。 我々は,高次元依存共変量を管理するために低ランク因子構造を用い,凍結源関数や他の変数の変換として対象関数を表現し,移動学習や非パラメトリック変数選択を実現する,新たな微調整分解を提案する。 ソース予測器からのこの拡張機能は、ターゲットドメインへの知識の転送を可能にし、そこでのモデルの複雑さを低減する。 細調整 FAN-Lasso の極小最適超過リスク境界を導出し,細調整が単一タスク学習よりも統計的加速度を得られる相対的なサンプルサイズと関数の複素量の観点から,精密な条件を特徴付ける。 提案フレームワークはパラメータ効率のよい微調整法についても理論的に考察する。 多様な共変量および後シフトシナリオにわたる広範囲な数値実験により、微調整されたFAN-Lassoは標準ベースラインを一貫して上回り、厳密なサンプルサイズ制約の下でもほぼ軌道に近い性能を達成し、導出率を実証的に検証することを示した。

関連論文リスト

• Slack More, Predict Better: Proximal Relaxation for Probabilistic Latent Variable Model-based Soft Sensors [12.346122868771118]
  確率潜在変数モデル(英: Probabilistic Latent Variable Models, NPLVMs)は、ソフトセンサーモデリングの基盤である。 NPLVMは、ニューラルネットワークが変分後部をパラメータ化するアモータイズされた変分推論を用いて訓練される。 KProxNPLVMは、目的自体を緩和し、NPLVMのパフォーマンスを改善するためにピボットする、新しいNPLVMである。
  論文  参考訳（メタデータ） (2026-03-12T02:53:39Z)
• Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport [51.56484100374058]
  デプロイ後、ユーザの好みが進化し、初期設定が望ましくないようになる。 我々は、観測データから、NNの条件付き出力分布がハイパーパラメータでどのように変化するかを学ぶ。 我々は、NNを観測されていないハイパーパラメータで近似する代理モデルを構築した。
  論文  参考訳（メタデータ） (2026-03-02T11:55:02Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Model-Robust and Adaptive-Optimal Transfer Learning for Tackling Concept Shifts in Nonparametric Regression [7.243632426715939]
  本稿では、最適性を適応的に達成しつつ、モデルの誤特定に対して頑健な転写学習手順を提案する。 仮説伝達学習アルゴリズムの一般的なクラスにおいて、ガウス核を特定するための過剰リスクの適応収束率を導出する。
  論文  参考訳（メタデータ） (2025-01-18T20:33:37Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 本稿では,複数の環境における回帰モデルにおける非パラメトリック不変性と因果学習に対処するアルゴリズムを提案する。 提案したFocused Adrial Invariant Regularizationフレームワークは、逆検定により回帰モデルを予測不変解へ向ける革新的なミニマックス最適化手法を利用する。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。