論文の概要: GLAMP: An Approximate Message Passing Framework for Transfer Learning with Applications to Lasso-based Estimators

• arxiv url: http://arxiv.org/abs/2505.22594v1
• Date: Wed, 28 May 2025 17:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.75279
• Title: GLAMP: An Approximate Message Passing Framework for Transfer Learning with Applications to Lasso-based Estimators
• Title（参考訳）: GLAMP:ラッソベースの推定器に応用したトランスファーラーニングのための近似メッセージパッシングフレームワーク
• Authors: Longlin Wang, Yanke Song, Kuanhao Jiang, Pragya Sur,
• Abstract要約: 一般化長メッセージパッシング(GLAMP)について紹介する。 GLAMPはAMPの範囲を大幅に拡大し、これまで到達できなかった移動学習推定器の分析を可能にした。 本稿では,3つのラッソ型移動学習推定器のリスクを正確に評価することにより,GLAMPの有用性を実証する。
• 参考スコア（独自算出の注目度）: 2.499907423888049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate Message Passing (AMP) algorithms enable precise characterization of certain classes of random objects in the high-dimensional limit, and have found widespread applications in fields such as statistics, deep learning, genetics, and communications. However, existing AMP frameworks cannot simultaneously handle matrix-valued iterates and non-separable denoising functions. This limitation prevents them from precisely characterizing estimators that draw information from multiple data sources with distribution shifts. In this work, we introduce Generalized Long Approximate Message Passing (GLAMP), a novel extension of AMP that addresses this limitation. We rigorously prove state evolution for GLAMP. GLAMP significantly broadens the scope of AMP, enabling the analysis of transfer learning estimators that were previously out of reach. We demonstrate the utility of GLAMP by precisely characterizing the risk of three Lasso-based transfer learning estimators: the Stacked Lasso, the Model Averaging Estimator, and the Second Step Estimator. We also demonstrate the remarkable finite sample accuracy of our theory via extensive simulations.
• Abstract（参考訳）: Approximate Message Passing (AMP)アルゴリズムは、高次元の制限下で特定のランダムオブジェクトのクラスを正確に特徴づけることを可能にし、統計学、ディープラーニング、遺伝学、コミュニケーションなどの分野に広く応用されている。 しかし、既存のAMPフレームワークは、行列値の反復と非分離不能な復調関数を同時に扱うことはできない。 この制限により、分散シフトを伴う複数のデータソースから情報を引き出す推定器を正確に特徴づけることができない。 本稿では、この制限に対処するAMPの新たな拡張である、Generalized Long Approximate Message Passing (GLAMP)を紹介する。 我々はGLAMPの状態進化を厳格に証明する。 GLAMPはAMPの範囲を大幅に拡大し、これまで到達できなかった移動学習推定器の分析を可能にした。 モデル平均推定器と第2ステップ推定器の3つのラッソ型移動学習推定器のリスクを正確に評価することにより,GLAMPの有用性を実証する。 また、広範囲なシミュレーションにより、我々の理論の顕著な有限標本精度を実証する。

関連論文リスト

• Mask-DPO: Generalizable Fine-grained Factuality Alignment of LLMs [56.74916151916208]
  大型言語モデル(LLM)は、様々なドメインでAIアシスタントとして機能する際、幻覚(不信または非感覚的な情報)を示す。 学習中に必然的にノイズを発生させる応答レベルの嗜好学習を行う従来の事実アライメント手法。 本稿では,Mask-DPO (Direct Preference Optimization, DPO) に基づくファクトリティアライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T18:20:24Z)
• Trans-Glasso: A Transfer Learning Approach to Precision Matrix Estimation [30.82913179485628]
  精度行列推定のための2段階変換学習法であるTrans-Glassoを提案する。 本研究では,Trans-Glassoが特定の条件下での最小最適性を実現することを示す。 我々はTrans-Glassoを様々ながんサブタイプのための脳組織およびタンパク質ネットワークにまたがる遺伝子ネットワークに適用する際の有効性を検証する。
  論文  参考訳（メタデータ） (2024-11-23T18:30:56Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Approximate Message Passing with Spectral Initialization for Generalized Linear Models [35.618694363241744]
  我々は、近似メッセージパッシング(AMP)に基づく推定器に焦点を当てる。 スペクトル推定器を用いたAMPアルゴリズムを提案する。 また,提案手法の有効性を示す数値的な結果も提供する。
  論文  参考訳（メタデータ） (2020-10-07T14:52:35Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)
• Rigorous State Evolution Analysis for Approximate Message Passing with Side Information [15.90775344965397]
  サイド情報をAMP-SI(Adroximate Message Passing with Side Information)に組み込んだ新しいフレームワークが導入された。 信号とSIペアの間に統計的依存関係がある場合、AMP-SIに対して厳密な性能保証を提供する。 AMP-SI平均二乗誤差を精度良く予測できることを示す。
  論文  参考訳（メタデータ） (2020-03-25T16:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。