論文の概要: Transferring model structure in Bayesian transfer learning for Gaussian process regression

• arxiv url: http://arxiv.org/abs/2101.06884v1
• Date: Mon, 18 Jan 2021 05:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 05:55:24.721326
• Title: Transferring model structure in Bayesian transfer learning for Gaussian process regression
• Title（参考訳）: ガウス過程回帰のためのベイズ変換学習における転移モデル構造
• Authors: Milan Pape\v{z}, Anthony Quinn
• Abstract要約: 本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。 この最適意思決定問題を解決するために、完全な確率的設計が採用されている。 ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian transfer learning (BTL) is defined in this paper as the task of conditioning a target probability distribution on a transferred source distribution. The target globally models the interaction between the source and target, and conditions on a probabilistic data predictor made available by an independent local source modeller. Fully probabilistic design is adopted to solve this optimal decision-making problem in the target. By successfully transferring higher moments of the source, the target can reject unreliable source knowledge (i.e. it achieves robust transfer). This dual-modeller framework means that the source's local processing of raw data into a transferred predictive distribution -- with compressive possibilities -- is enriched by (the possible expertise of) the local source model. In addition, the introduction of the global target modeller allows correlation between the source and target tasks -- if known to the target -- to be accounted for. Important consequences emerge. Firstly, the new scheme attains the performance of fully modelled (i.e. conventional) multitask learning schemes in (those rare) cases where target model misspecification is avoided. Secondly, and more importantly, the new dual-modeller framework is robust to the model misspecification that undermines conventional multitask learning. We thoroughly explore these issues in the key context of interacting Gaussian process regression tasks. Experimental evidence from both synthetic and real data settings validates our technical findings: that the proposed BTL framework enjoys robustness in transfer while also being robust to model misspecification.
• Abstract（参考訳）: ベイズ変換学習(Bayesian Transfer Learning, BTL)は、転送元分布にターゲット確率分布を条件付けるタスクとして定義される。 ターゲットは、ソースとターゲット間のインタラクションと、独立したローカルソースモデラーで利用可能な確率的データ予測器の条件をグローバルにモデル化する。 この最適意思決定問題を解決するために、完全な確率的設計が採用されている。 ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識(つまり)を拒否することができる。 堅牢な転送を実現します) このデュアルモデラーフレームワークは、ソースの生データを転送された予測分布に局所的に処理し、圧縮可能な可能性を持つ)局所的なソースモデルによって強化されることを意味する。 さらに、グローバルターゲットモデラーの導入により、ソースとターゲットタスク -- ターゲットに知られていれば -- の相関を説明できる。 重要な結果が生まれる。 まず、新しいスキームは、完全にモデル化された(すなわち)性能を達成する。 従来)ターゲットモデルの誤特定を避ける(稀な)ケースにおけるマルチタスク学習スキーム。 第二に、新しいデュアルモデルフレームワークは、従来のマルチタスク学習を損なうようなモデルのミススペクテーションに対して堅牢である。 我々はこれらの問題をガウス的プロセス回帰タスクの相互作用の重要な文脈で徹底的に検討する。 合成データと実データの両方による実験的な証拠は、BTLフレームワークが転送時の堅牢性を保ちながら、誤特定のモデル化にも堅牢であることを示す。

関連論文リスト

• Theoretically Guaranteed Distribution Adaptable Learning [23.121014921407898]
  分散適応学習(DAL)と呼ばれる新しいフレームワークを提案する。 DALは、進化するデータ分散を効果的に追跡することを可能にする。 進化する分布を調節する上で、DALの再利用性と進化性を高めることができる。
  論文  参考訳（メタデータ） (2024-11-05T09:10:39Z)
• Enhancing Accuracy in Generative Models via Knowledge Transfer [4.3108820946281945]
  本研究では,Kullback-Leiblerの分散化など,分散指標下での伝達学習のための新しいフレームワークを提案する。 提案理論は,共有構造が目標タスクの生成精度を向上させることを示唆している。
  論文  参考訳（メタデータ） (2024-05-27T05:10:49Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Fully probabilistic design for knowledge fusion between Bayesian filters under uniform disturbances [0.0]
  本稿では,線形状態空間プロセス間のベイズ移動学習に基づく知識融合の問題について考察する。 ターゲットとソースのジョイントモデルは不要で、引き起こされません。 結果として得られるFPD最適学習者は、質の悪い情報源知識を拒否できるという意味で、堅牢である。
  論文  参考訳（メタデータ） (2021-09-22T08:49:15Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Universal Source-Free Domain Adaptation [57.37520645827318]
  ドメイン適応のための新しい2段階学習プロセスを提案する。 Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。 Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2020-04-09T07:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。