論文の概要: Formal Bayesian Transfer Learning via the Total Risk Prior
- arxiv url: http://arxiv.org/abs/2507.23768v1
- Date: Thu, 31 Jul 2025 17:55:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:10.210999
- Title: Formal Bayesian Transfer Learning via the Total Risk Prior
- Title（参考訳）: 総リスク事前による形式的ベイズ移動学習
- Authors: Nathan Wycoff, Ali Arab, Lisa O. Singh,
- Abstract要約: 我々は、前者の特定のインスタンス化が、変換座標系におけるベイズラッソにどのように導かれるかを示す。
また、最近提案されたミニマックス周波数変換学習技術は、我々のモデルに対するPosterioriアプローチの近似的な最大値と見なせることを示した。
- 参考スコア（独自算出の注目度）: 1.8570591025615457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In analyses with severe data-limitations, augmenting the target dataset with information from ancillary datasets in the application domain, called source datasets, can lead to significantly improved statistical procedures. However, existing methods for this transfer learning struggle to deal with situations where the source datasets are also limited and not guaranteed to be well-aligned with the target dataset. A typical strategy is to use the empirical loss minimizer on the source data as a prior mean for the target parameters, which places the estimation of source parameters outside of the Bayesian formalism. Our key conceptual contribution is to use a risk minimizer conditional on source parameters instead. This allows us to construct a single joint prior distribution for all parameters from the source datasets as well as the target dataset. As a consequence, we benefit from full Bayesian uncertainty quantification and can perform model averaging via Gibbs sampling over indicator variables governing the inclusion of each source dataset. We show how a particular instantiation of our prior leads to a Bayesian Lasso in a transformed coordinate system and discuss computational techniques to scale our approach to moderately sized datasets. We also demonstrate that recently proposed minimax-frequentist transfer learning techniques may be viewed as an approximate Maximum a Posteriori approach to our model. Finally, we demonstrate superior predictive performance relative to the frequentist baseline on a genetics application, especially when the source data are limited.
- Abstract（参考訳）: 厳しいデータリミテーションによる分析では、ソースデータセットと呼ばれるアプリケーションドメインのアシラリーデータセットからの情報をターゲットデータセットに拡張することで、統計的手続きが大幅に改善される可能性がある。
しかし、この移行学習の既存の方法は、ソースデータセットも制限されており、ターゲットデータセットと適切に整合することが保証されていない状況に対処するのに苦労する。
典型的な戦略は、ソースデータに対する経験的損失最小化器を目標パラメータの事前平均として用いることである。
私たちの重要な概念的コントリビューションは、代わりにソースパラメータのリスク最小化条件を使用することです。
これにより、ソースデータセットとターゲットデータセットから、すべてのパラメータに対する単一のジョイント事前分布を構築することができます。
その結果、ベイズ的不確実性定量化の恩恵を受け、各ソースデータセットを包含するインジケータ変数に対して、ギブス法によるモデル平均化を行うことができる。
我々は,前者の特定のインスタンス化が,変換された座標系におけるベイジアン・ラッソ(Bayesian Lasso)にどのように結びつくかを示し,中規模データセットへのアプローチをスケールするための計算手法について議論する。
また、最近提案されたミニマックス周波数変換学習技術は、我々のモデルに対するPosterioriアプローチの近似的な最大値と見なせることを示した。
最後に、遺伝学応用における頻繁なベースラインに対して、特にソースデータに制限がある場合、優れた予測性能を示す。
関連論文リスト
- Using Scaling Laws for Data Source Utility Estimation in Domain-Specific Pre-Training [4.90288999217624]
基礎モデルトレーニングにおいて,ドメイン固有のデータセット構築を最適化するためのフレームワークを提案する。
我々のアプローチは、スケーリング法則を推定するために、通常の点推定アプローチ、いわゆるマイクロアニール(micro-annealing)を拡張します。
我々は、70億のパラメータを持つ事前学習モデルの実験を通して、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2025-07-29T21:56:45Z) - Transfer Learning for Matrix Completion [0.0]
本稿では、どのソースデータセットが好ましいかという事前情報をもとに、転送学習手順を提案する。
ソース行列がターゲット行列に十分近いので、outメソッドは単一のターゲットデータを使用して従来のメソッドよりも優れている。
論文 参考訳（メタデータ） (2025-07-03T02:43:40Z) - Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Domain Adaptation for Offline Reinforcement Learning with Limited Samples [2.3674123304219816]
オフライン強化学習は、静的ターゲットデータセットから効果的なポリシーを学ぶ。
ターゲットデータセットの品質とサイズに依存しており、ターゲットデータセットの限られたサンプルが利用可能であれば劣化する。
本稿では,各データセットに割り当てられた重みがオフラインRLの性能に与える影響を理論的に検討する最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-22T05:38:48Z) - Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。
オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。
提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文 参考訳（メタデータ） (2024-08-05T03:18:58Z) - Geometry-Aware Instrumental Variable Regression [56.16884466478886]
本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。
本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
論文 参考訳（メタデータ） (2024-05-19T17:49:33Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。
本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
論文 参考訳（メタデータ） (2022-08-16T08:03:30Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Meta-analysis of heterogeneous data: integrative sparse regression in
high-dimensions [21.162280861396205]
本稿では,データソースが類似しているが識別できない高次元環境におけるメタ分析の課題について考察する。
異質性の存在下での解釈可能性と統計的効率を重視したグローバルパラメータを導入する。
いくつかの異なる癌細胞株を含む大規模薬物治療データセットに対するアプローチの利点を実証する。
論文 参考訳（メタデータ） (2019-12-26T20:30:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。