論文の概要: Proxy-informed Bayesian transfer learning with unknown sources
- arxiv url: http://arxiv.org/abs/2411.03263v2
- Date: Thu, 13 Feb 2025 16:28:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:46:22.096738
- Title: Proxy-informed Bayesian transfer learning with unknown sources
- Title（参考訳）: 未知情報源を用いたプロキシインフォームドベイズ変換学習
- Authors: Sabina J. Sloman, Julien Martinelli, Samuel Kaski,
- Abstract要約: トレーニングデータの範囲外の一般化には、転送の影響に関する事前知識を活用する必要がある。
負の転送は、ソースデータの非伝達可能な原因に関する誤った事前情報に由来する可能性がある。
提案手法は,PROMPT (probabilistic transfer learning) のためのプロキシインフォームド・ロバストな手法であり,ソースデータの事前の知識を必要としない。
- 参考スコア（独自算出の注目度）: 18.264598332579748
- License:
- Abstract: Generalization outside the scope of one's training data requires leveraging prior knowledge about the effects that transfer, and the effects that don't, between different data sources. Transfer learning is a framework for specifying and refining this knowledge about sets of source (training) and target (prediction) data. A challenging open problem is addressing the empirical phenomenon of negative transfer, whereby the transfer learner performs worse on the target data after taking the source data into account than before. We first introduce a Bayesian perspective on negative transfer, and then a method to address it. The key insight from our formulation is that negative transfer can stem from misspecified prior information about non-transferable causes of the source data. Our proposed method, proxy-informed robust method for probabilistic transfer learning (PROMPT), does not require prior knowledge of the source data (the data sources may be "unknown"). PROMPT is thus applicable when differences between tasks are unobserved, such as in the presence of latent confounders. Moreover, the learner need not have access to observations in the target task (cannot "fine-tune"), and instead makes use of proxy (indirect) information. Our theoretical results show that the threat of negative transfer does not depend on the informativeness of the proxy information, highlighting the usefulness of PROMPT in cases where only noisy indirect information, such as human feedback, is available.
- Abstract（参考訳）: トレーニングデータの範囲外の一般化には、転送する影響と、異なるデータソース間ではできない影響について、事前の知識を活用する必要がある。
トランスファーラーニング(Transfer Learning)は、ソース(トレーニング)とターゲット(予測)データのセットに関する知識を特定および精錬するためのフレームワークである。
難解なオープン問題は、負の転送の実証的な現象に対処することであり、転送学習者は、ソースデータを以前よりも考慮に入れた後、ターゲットデータに悪影響を及ぼす。
まず、負転移に関するベイズ的視点を導入し、それに対応する方法を提案する。
我々の定式化から得られた重要な洞察は、負の転送は、ソースデータの非伝達不能な原因に関する誤った事前情報から生じる可能性があるということである。
提案手法は,PROMPT (Prooxy-informed robust method for probabilistic transfer learning) であり,ソースデータの事前の知識を必要としない(データソースは「未知」かもしれない)。
したがって、PROMPTは、潜伏した共同設立者の存在など、タスクの違いが観察されない場合に適用される。
さらに、学習者は目的のタスク(「微妙なチューン」ではない)における観察へのアクセスを必要とせず、代わりにプロキシ(間接的な)情報を利用する。
理論的には, 負の伝達の脅威は, 人からのフィードバックなどの間接的な情報しか得られない場合に, PROMPTの有用性を強調し, プロキシ情報の伝達に依存しないことが示唆された。
関連論文リスト
- Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior [1.111488407653005]
本研究では,頑健な部分的情報伝達を実現するために,ConCERT'という新しいベイズ変換学習手法を提案する。
情報伝達のためのターゲットパラメータとソースパラメータの共分散に、条件付きスパイク・アンド・スラブ前処理を導入する。
既存の作業とは対照的に、CONCERTは1ステップの手順であり、変数の選択と情報転送を同時に行う。
論文 参考訳（メタデータ） (2024-03-30T07:32:58Z) - Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced
Transfer Learning [66.20311762506702]
データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。
本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。
ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
論文 参考訳（メタデータ） (2023-10-13T00:07:49Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T14:40:19Z) - A Data-Based Perspective on Transfer Learning [76.30206800557411]
転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。
我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
論文 参考訳（メタデータ） (2022-07-12T17:58:28Z) - When does Bias Transfer in Transfer Learning? [89.22641454588278]
トランスファーラーニングを使用して、トレーニング済みの"ソースモデル"を下流の"ターゲットタスク"に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。
結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
論文 参考訳（メタデータ） (2022-07-06T17:58:07Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。
例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
論文 参考訳（メタデータ） (2021-09-03T08:43:29Z) - Online Transfer Learning: Negative Transfer and Effect of Prior
Knowledge [6.193838300896449]
ターゲットサンプルが順次到着している間に、ソースサンプルがオフラインの方法で与えられるオンライン転送学習の問題を研究します。
我々は,オンライン転送学習問題の期待後悔を定義し,情報理論量を用いて後悔の上限を与える。
例えば、導出境界は小さなサンプルサイズであっても正確である。
論文 参考訳（メタデータ） (2021-05-04T12:12:14Z) - Source Data-absent Unsupervised Domain Adaptation through Hypothesis
Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。
既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。
本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文 参考訳（メタデータ） (2020-12-14T07:28:50Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。