論文の概要: Knowledge Transfer across Multiple Principal Component Analysis Studies
- arxiv url: http://arxiv.org/abs/2403.07431v1
- Date: Tue, 12 Mar 2024 09:15:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:24:23.904090
- Title: Knowledge Transfer across Multiple Principal Component Analysis Studies
- Title（参考訳）: 複数の主成分分析研究にまたがる知識伝達
- Authors: Zeyu Li and Kangxiang Qin and Yong He and Wang Zhou and Xinsheng Zhang
- Abstract要約: 本稿では,複数音源成分分析(PCA)研究から有用な情報を抽出する2段階移動学習アルゴリズムを提案する。
最初のステップでは、複数の研究にまたがる共有部分空間情報をGrassmannian barycenterと呼ばれる提案手法で統合する。
第1段階から得られた共有部分空間の推定器を利用して、対象のプライベート部分空間を推定する。
- 参考スコア（独自算出の注目度）: 8.602833477729899
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning has aroused great interest in the statistical community. In
this article, we focus on knowledge transfer for unsupervised learning tasks in
contrast to the supervised learning tasks in the literature. Given the
transferable source populations, we propose a two-step transfer learning
algorithm to extract useful information from multiple source principal
component analysis (PCA) studies, thereby enhancing estimation accuracy for the
target PCA task. In the first step, we integrate the shared subspace
information across multiple studies by a proposed method named as Grassmannian
barycenter, instead of directly performing PCA on the pooled dataset. The
proposed Grassmannian barycenter method enjoys robustness and computational
advantages in more general cases. Then the resulting estimator for the shared
subspace from the first step is further utilized to estimate the target private
subspace in the second step. Our theoretical analysis credits the gain of
knowledge transfer between PCA studies to the enlarged eigenvalue gap, which is
different from the existing supervised transfer learning tasks where sparsity
plays the central role. In addition, we prove that the bilinear forms of the
empirical spectral projectors have asymptotic normality under weaker eigenvalue
gap conditions after knowledge transfer. When the set of informativesources is
unknown, we endow our algorithm with the capability of useful dataset selection
by solving a rectified optimization problem on the Grassmann manifold, which in
turn leads to a computationally friendly rectified Grassmannian K-means
procedure. In the end, extensive numerical simulation results and a real data
case concerning activity recognition are reported to support our theoretical
claims and to illustrate the empirical usefulness of the proposed transfer
learning methods.
- Abstract（参考訳）: 移動学習は統計社会に大きな関心を喚起した。
本稿では,本論文の教師なし学習タスクとは対照的に教師なし学習タスクの知識伝達に着目した。
そこで本研究では,複数音源成分分析(PCA)研究から有用な情報を抽出し,対象PCA課題に対する推定精度を向上する2段階移動学習アルゴリズムを提案する。
最初のステップでは、プールされたデータセット上でPCAを直接実行する代わりに、Grassmannian barycenterと呼ばれる提案手法により、複数の研究にまたがる共有サブスペース情報を統合する。
提案手法はより一般的な場合においてロバスト性と計算上の利点を享受する。
そして、第1ステップから得られた共有部分空間の推定器を利用して、第2ステップで目的のプライベート部分空間を推定する。
本理論解析は,pca研究間の知識伝達の利得を,sparsityが中心的役割を果たす既存の教師付き転送学習タスクとは異なる,拡大した固有値ギャップに寄与している。
さらに,経験的スペクトルプロジェクタの双線型形式が,知識伝達後のより弱い固有値ギャップ条件下で漸近正規性を持つことを証明した。
情報ソースの集合が未知のとき、我々はグラスマン多様体上の修正された最適化問題を解くことで、有用なデータセット選択の能力をアルゴリズムに与え、計算に親しみやすい修正されたグラスマンK-ミーンズ手順をもたらす。
最後に,我々の理論的主張を支持するために,広範な数値シミュレーション結果と実データケースを報告し,提案手法の実証的有用性を示す。
関連論文リスト
- Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。
我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。
本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
論文 参考訳（メタデータ） (2024-09-01T13:14:41Z) - Minimax Optimal Transfer Learning for Kernel-based Nonparametric
Regression [18.240776405802205]
本稿では,非パラメトリック回帰の文脈における伝達学習問題について考察する。
目的は、実用性と理論的保証の間のギャップを埋めることである。
論文 参考訳（メタデータ） (2023-10-21T10:55:31Z) - Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced
Transfer Learning [66.20311762506702]
データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。
本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。
ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
論文 参考訳（メタデータ） (2023-10-13T00:07:49Z) - An information-Theoretic Approach to Semi-supervised Transfer Learning [33.89602092349131]
トランスファーラーニングは、ある"ソースデータセット"から別の"ターゲットデータセット"に情報を伝達することを可能にする
ソースとターゲットデータの分布の相違は一般的です。
本稿では,伝達学習の文脈におけるディープニューラルネットワークの性能解析のための新しい情報理論アプローチを提案する。
論文 参考訳（メタデータ） (2023-06-11T17:45:46Z) - Hypothesis Transfer Learning with Surrogate Classification Losses:
Generalization Bounds through Algorithmic Stability [3.908842679355255]
仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。
本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
論文 参考訳（メタデータ） (2023-05-31T09:38:21Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T14:40:19Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。
オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。
どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
論文 参考訳（メタデータ） (2021-05-29T15:39:43Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。