論文の概要: Proxy-informed Bayesian transfer learning with unknown sources

• arxiv url: http://arxiv.org/abs/2411.03263v2
• Date: Thu, 13 Feb 2025 16:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:22.096738
• Title: Proxy-informed Bayesian transfer learning with unknown sources
• Title（参考訳）: 未知情報源を用いたプロキシインフォームドベイズ変換学習
• Authors: Sabina J. Sloman, Julien Martinelli, Samuel Kaski,
• Abstract要約: トレーニングデータの範囲外の一般化には、転送の影響に関する事前知識を活用する必要がある。 負の転送は、ソースデータの非伝達可能な原因に関する誤った事前情報に由来する可能性がある。 提案手法は,PROMPT (probabilistic transfer learning) のためのプロキシインフォームド・ロバストな手法であり,ソースデータの事前の知識を必要としない。
• 参考スコア（独自算出の注目度）: 18.264598332579748
• License:
• Abstract: Generalization outside the scope of one's training data requires leveraging prior knowledge about the effects that transfer, and the effects that don't, between different data sources. Transfer learning is a framework for specifying and refining this knowledge about sets of source (training) and target (prediction) data. A challenging open problem is addressing the empirical phenomenon of negative transfer, whereby the transfer learner performs worse on the target data after taking the source data into account than before. We first introduce a Bayesian perspective on negative transfer, and then a method to address it. The key insight from our formulation is that negative transfer can stem from misspecified prior information about non-transferable causes of the source data. Our proposed method, proxy-informed robust method for probabilistic transfer learning (PROMPT), does not require prior knowledge of the source data (the data sources may be "unknown"). PROMPT is thus applicable when differences between tasks are unobserved, such as in the presence of latent confounders. Moreover, the learner need not have access to observations in the target task (cannot "fine-tune"), and instead makes use of proxy (indirect) information. Our theoretical results show that the threat of negative transfer does not depend on the informativeness of the proxy information, highlighting the usefulness of PROMPT in cases where only noisy indirect information, such as human feedback, is available.
• Abstract（参考訳）: トレーニングデータの範囲外の一般化には、転送する影響と、異なるデータソース間ではできない影響について、事前の知識を活用する必要がある。 トランスファーラーニング(Transfer Learning)は、ソース(トレーニング)とターゲット(予測)データのセットに関する知識を特定および精錬するためのフレームワークである。 難解なオープン問題は、負の転送の実証的な現象に対処することであり、転送学習者は、ソースデータを以前よりも考慮に入れた後、ターゲットデータに悪影響を及ぼす。 まず、負転移に関するベイズ的視点を導入し、それに対応する方法を提案する。 我々の定式化から得られた重要な洞察は、負の転送は、ソースデータの非伝達不能な原因に関する誤った事前情報から生じる可能性があるということである。 提案手法は,PROMPT (Prooxy-informed robust method for probabilistic transfer learning) であり,ソースデータの事前の知識を必要としない(データソースは「未知」かもしれない)。 したがって、PROMPTは、潜伏した共同設立者の存在など、タスクの違いが観察されない場合に適用される。 さらに、学習者は目的のタスク(「微妙なチューン」ではない)における観察へのアクセスを必要とせず、代わりにプロキシ(間接的な)情報を利用する。 理論的には, 負の伝達の脅威は, 人からのフィードバックなどの間接的な情報しか得られない場合に, PROMPTの有用性を強調し, プロキシ情報の伝達に依存しないことが示唆された。

関連論文リスト

• Data-Driven Knowledge Transfer in Batch $Q^*$ Learning [5.6665432569907646]
  バッチ定常環境に集中して動的意思決定における知識伝達について検討する。 本稿では,一般関数近似を用いたTransferred Fitted $Q$-Iterationアルゴリズムのフレームワークを提案する。 Q*$関数の最終学習誤差は、単一のタスクレートから大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T02:20:09Z)
• Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior [1.111488407653005]
  本研究では,頑健な部分的情報伝達を実現するために,ConCERT'という新しいベイズ変換学習手法を提案する。 情報伝達のためのターゲットパラメータとソースパラメータの共分散に、条件付きスパイク・アンド・スラブ前処理を導入する。 既存の作業とは対照的に、CONCERTは1ステップの手順であり、変数の選択と情報転送を同時に行う。
  論文  参考訳（メタデータ） (2024-03-30T07:32:58Z)
• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。