論文の概要: Proxy-informed Bayesian transfer learning with unknown sources

• arxiv url: http://arxiv.org/abs/2411.03263v1
• Date: Tue, 05 Nov 2024 17:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:21.708344
• Title: Proxy-informed Bayesian transfer learning with unknown sources
• Title（参考訳）: 未知情報源を用いたプロキシインフォームドベイズ変換学習
• Authors: Sabina J. Sloman, Julien Martinelli, Samuel Kaski,
• Abstract要約: 確率的伝達学習(PROMPT)のためのプロキシインフォームドロバスト手法を提案する。 PROMPTは、学習者が目標タスクから結果情報にアクセスすることなしに、対象タスクの構造に合わせた後続予測推定を提供する。 本稿では, この再重み付けが負転移のリスクに及ぼす影響を理論的に評価し, 2つの合成条件におけるPROMPTの適用を実証する。
• 参考スコア（独自算出の注目度）: 18.264598332579748
• License:
• Abstract: Generalization outside the scope of one's training data requires leveraging prior knowledge about the effects that transfer, and the effects that don't, between different data sources. Bayesian transfer learning is a principled paradigm for specifying this knowledge, and refining it on the basis of data from the source (training) and target (prediction) tasks. We address the challenging transfer learning setting where the learner (i) cannot fine-tune in the target task, and (ii) does not know which source data points correspond to the same task (i.e., the data sources are unknown). We propose a proxy-informed robust method for probabilistic transfer learning (PROMPT), which provides a posterior predictive estimate tailored to the structure of the target task, without requiring the learner have access to any outcome information from the target task. Instead, PROMPT relies on the availability of proxy information. PROMPT uses the same proxy information for two purposes: (i) estimation of effects specific to the target task, and (ii) construction of a robust reweighting of the source data for estimation of effects that transfer between tasks. We provide theoretical results on the effect of this reweighting on the risk of negative transfer, and demonstrate application of PROMPT in two synthetic settings.
• Abstract（参考訳）: トレーニングデータの範囲外の一般化には、転送する影響と、異なるデータソース間ではできない影響について、事前の知識を活用する必要がある。 ベイズ変換学習は、この知識を指定し、ソース(トレーニング)とターゲット(予測)タスクからのデータに基づいてそれを精製するための原則的パラダイムである。 学習者が学習する困難な移動学習環境に対処する。 (i)ターゲットタスクに微調整ができず、 (ii)どのソースデータポイントが同じタスク(すなわち、データソースが不明)に対応するかを知らない。 本稿では,確率的伝達学習(PROMPT)のためのプロキシインフォームド・ロバストな手法を提案する。 PROMPTはプロキシ情報の可用性に依存する。 PROMPTは2つの目的で同じプロキシ情報を使用する。 一 目的業務に特有な効果の見積もり及び (II)タスク間の移動効果を推定するためのソースデータの頑健な再重み付けの構築。 本稿では, この再重み付けが負転移のリスクに及ぼす影響を理論的に評価し, 2つの合成条件におけるPROMPTの適用を実証する。

関連論文リスト

• Data-Driven Knowledge Transfer in Batch $Q^*$ Learning [5.6665432569907646]
  バッチ定常環境に集中して動的意思決定における知識伝達について検討する。 本稿では,一般関数近似を用いたTransferred Fitted $Q$-Iterationアルゴリズムのフレームワークを提案する。 Q*$関数の最終学習誤差は、単一のタスクレートから大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T02:20:09Z)
• Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior [1.111488407653005]
  本研究では,頑健な部分的情報伝達を実現するために,ConCERT'という新しいベイズ変換学習手法を提案する。 情報伝達のためのターゲットパラメータとソースパラメータの共分散に、条件付きスパイク・アンド・スラブ前処理を導入する。 既存の作業とは対照的に、CONCERTは1ステップの手順であり、変数の選択と情報転送を同時に行う。
  論文  参考訳（メタデータ） (2024-03-30T07:32:58Z)
• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。