論文の概要: GLAMP: An Approximate Message Passing Framework for Transfer Learning with Applications to Lasso-based Estimators

• arxiv url: http://arxiv.org/abs/2505.22594v1
• Date: Wed, 28 May 2025 17:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.75279
• Title: GLAMP: An Approximate Message Passing Framework for Transfer Learning with Applications to Lasso-based Estimators
• Title（参考訳）: GLAMP:ラッソベースの推定器に応用したトランスファーラーニングのための近似メッセージパッシングフレームワーク
• Authors: Longlin Wang, Yanke Song, Kuanhao Jiang, Pragya Sur,
• Abstract要約: 一般化長メッセージパッシング(GLAMP)について紹介する。 GLAMPはAMPの範囲を大幅に拡大し、これまで到達できなかった移動学習推定器の分析を可能にした。 本稿では,3つのラッソ型移動学習推定器のリスクを正確に評価することにより,GLAMPの有用性を実証する。
• 参考スコア（独自算出の注目度）: 2.499907423888049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate Message Passing (AMP) algorithms enable precise characterization of certain classes of random objects in the high-dimensional limit, and have found widespread applications in fields such as statistics, deep learning, genetics, and communications. However, existing AMP frameworks cannot simultaneously handle matrix-valued iterates and non-separable denoising functions. This limitation prevents them from precisely characterizing estimators that draw information from multiple data sources with distribution shifts. In this work, we introduce Generalized Long Approximate Message Passing (GLAMP), a novel extension of AMP that addresses this limitation. We rigorously prove state evolution for GLAMP. GLAMP significantly broadens the scope of AMP, enabling the analysis of transfer learning estimators that were previously out of reach. We demonstrate the utility of GLAMP by precisely characterizing the risk of three Lasso-based transfer learning estimators: the Stacked Lasso, the Model Averaging Estimator, and the Second Step Estimator. We also demonstrate the remarkable finite sample accuracy of our theory via extensive simulations.
• Abstract（参考訳）: Approximate Message Passing (AMP)アルゴリズムは、高次元の制限下で特定のランダムオブジェクトのクラスを正確に特徴づけることを可能にし、統計学、ディープラーニング、遺伝学、コミュニケーションなどの分野に広く応用されている。 しかし、既存のAMPフレームワークは、行列値の反復と非分離不能な復調関数を同時に扱うことはできない。 この制限により、分散シフトを伴う複数のデータソースから情報を引き出す推定器を正確に特徴づけることができない。 本稿では、この制限に対処するAMPの新たな拡張である、Generalized Long Approximate Message Passing (GLAMP)を紹介する。 我々はGLAMPの状態進化を厳格に証明する。 GLAMPはAMPの範囲を大幅に拡大し、これまで到達できなかった移動学習推定器の分析を可能にした。 モデル平均推定器と第2ステップ推定器の3つのラッソ型移動学習推定器のリスクを正確に評価することにより,GLAMPの有用性を実証する。 また、広範囲なシミュレーションにより、我々の理論の顕著な有限標本精度を実証する。

関連論文リスト

• Quantile Regression with Large Language Models for Price Prediction [15.277244542405345]
  大規模言語モデル(LLM)は、回帰を含む構造化予測タスクにおいて有望であることを示している。 我々は,LLMが完全な予測分布を生成できる新しい量子レグレッション手法を提案する。 量子ヘッドを微調整したMistral-7Bモデルは、点推定と分布推定の両方において従来の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-06-07T04:19:28Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• Mask-DPO: Generalizable Fine-grained Factuality Alignment of LLMs [56.74916151916208]
  大型言語モデル(LLM)は、様々なドメインでAIアシスタントとして機能する際、幻覚(不信または非感覚的な情報)を示す。 学習中に必然的にノイズを発生させる応答レベルの嗜好学習を行う従来の事実アライメント手法。 本稿では,Mask-DPO (Direct Preference Optimization, DPO) に基づくファクトリティアライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T18:20:24Z)
• Trans-Glasso: A Transfer Learning Approach to Precision Matrix Estimation [30.82913179485628]
  精度行列推定のための2段階変換学習法であるTrans-Glassoを提案する。 本研究では,Trans-Glassoが特定の条件下での最小最適性を実現することを示す。 我々はTrans-Glassoを様々ながんサブタイプのための脳組織およびタンパク質ネットワークにまたがる遺伝子ネットワークに適用する際の有効性を検証する。
  論文  参考訳（メタデータ） (2024-11-23T18:30:56Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Knowledge Transfer across Multiple Principal Component Analysis Studies [8.602833477729899]
  本稿では,複数音源成分分析(PCA)研究から有用な情報を抽出する2段階移動学習アルゴリズムを提案する。 最初のステップでは、複数の研究にまたがる共有部分空間情報をGrassmannian barycenterと呼ばれる提案手法で統合する。 第1段階から得られた共有部分空間の推定器を利用して、対象のプライベート部分空間を推定する。
  論文  参考訳（メタデータ） (2024-03-12T09:15:12Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Approximate Message Passing with Spectral Initialization for Generalized Linear Models [35.618694363241744]
  我々は、近似メッセージパッシング(AMP)に基づく推定器に焦点を当てる。 スペクトル推定器を用いたAMPアルゴリズムを提案する。 また,提案手法の有効性を示す数値的な結果も提供する。
  論文  参考訳（メタデータ） (2020-10-07T14:52:35Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)
• Rigorous State Evolution Analysis for Approximate Message Passing with Side Information [15.90775344965397]
  サイド情報をAMP-SI(Adroximate Message Passing with Side Information)に組み込んだ新しいフレームワークが導入された。 信号とSIペアの間に統計的依存関係がある場合、AMP-SIに対して厳密な性能保証を提供する。 AMP-SI平均二乗誤差を精度良く予測できることを示す。
  論文  参考訳（メタデータ） (2020-03-25T16:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。