論文の概要: CONCERT: Covariate-Elaborated Robust Local Information Transfer with Conditional Spike-and-Slab Prior
- arxiv url: http://arxiv.org/abs/2404.03764v1
- Date: Sat, 30 Mar 2024 07:32:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-14 13:21:48.440758
- Title: CONCERT: Covariate-Elaborated Robust Local Information Transfer with Conditional Spike-and-Slab Prior
- Title(参考訳): CONCERT: 条件付きスパイク・アンド・スラブ前処理による共分散ロバスト局所情報伝達
- Authors: Ruqian Zhang, Yijiao Zhang, Annie Qu, Zhongyi Zhu, Juan Shen,
- Abstract要約: 本研究では,ローカル情報転送を堅牢にするための新しいベイズ変換学習手法"CONCERT"を提案する。
情報伝達のためのターゲットパラメータとソースパラメータの共分散には,新しい条件付きスパイク・アンド・スラブが導入された。
アルゴリズムをスケーラブルにするため,実装を容易にするために変分ベイズフレームワークを採用した。
- 参考スコア(独自算出の注目度): 1.111488407653005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The popularity of transfer learning stems from the fact that it can borrow information from useful auxiliary datasets. Existing statistical transfer learning methods usually adopt a global similarity measure between the source data and the target data, which may lead to inefficiency when only local information is shared. In this paper, we propose a novel Bayesian transfer learning method named "CONCERT" to allow robust local information transfer for high-dimensional data analysis. A novel conditional spike-and-slab prior is introduced in the joint distribution of target and source parameters for information transfer. By incorporating covariate-specific priors, we can characterize the local similarities and make the sources work collaboratively to help improve the performance on the target. Distinguished from existing work, CONCERT is a one-step procedure, which achieves variable selection and information transfer simultaneously. Variable selection consistency is established for our CONCERT. To make our algorithm scalable, we adopt the variational Bayes framework to facilitate implementation. Extensive experiments and a genetic data analysis demonstrate the validity and the advantage of CONCERT over existing cutting-edge transfer learning methods. We also extend our CONCERT to the logistical models with numerical studies showing its superiority over other methods.
- Abstract(参考訳): 転送学習の人気は、有用な補助データセットから情報を借用できるという事実に起因している。
既存の統計伝達学習法は、通常、ソースデータとターゲットデータとのグローバルな類似度尺度を採用しており、ローカル情報のみを共有すると非効率になる可能性がある。
本稿では,高次元データ解析のためのロバストな局所情報伝達を実現するための新しいベイズ変換学習手法"CONCERT"を提案する。
情報伝達のためのターゲットパラメータとソースパラメータの共分散には,新しい条件付きスパイク・アンド・スラブが導入された。
共変量固有の先行要素を組み込むことで、局所的な類似性を特徴付けることができ、ソースを協調して動作させることで、目標の性能を向上させることができる。
既存の作業とは違い, CONCERT は1ステップの手順であり,変数の選択と情報転送を同時に行う。
可変選択整合性は、当社のCONCERTに対して確立されている。
アルゴリズムをスケーラブルにするため,実装を容易にするために変分ベイズフレームワークを採用した。
包括的実験と遺伝的データ解析は、既存の最先端移動学習法に対する CONCERT の有効性と利点を示している。
また,ConCERTを論理モデルに拡張し,他の手法よりも優れていることを示す数値的研究を行った。
関連論文リスト
- Physics-informed and Unsupervised Riemannian Domain Adaptation for Machine Learning on Heterogeneous EEG Datasets [53.367212596352324]
脳波信号物理を利用した教師なし手法を提案する。
脳波チャンネルをフィールド、ソースフリーなドメイン適応を用いて固定位置にマッピングする。
提案手法は脳-コンピュータインタフェース(BCI)タスクおよび潜在的なバイオマーカー応用におけるロバストな性能を示す。
論文 参考訳(メタデータ) (2024-03-07T16:17:33Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳(メタデータ) (2023-01-17T14:50:18Z) - Style Transfer as Data Augmentation: A Case Study on Named Entity
Recognition [17.892385961143173]
本稿では,テキストを高リソース領域から低リソース領域へ変換する手法を提案する。
我々は、データ選択のための重要な要素のセットとともに制約付き復号アルゴリズムを設計し、有効かつ一貫性のあるデータの生成を保証する。
我々のアプローチはデータの不足に対する実用的な解決策であり、他のNLPタスクに適用できることを期待しています。
論文 参考訳(メタデータ) (2022-10-14T16:02:03Z) - CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in
Federated Learning [19.4810285821324]
我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。
提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
論文 参考訳(メタデータ) (2022-04-04T14:49:19Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳(メタデータ) (2021-10-26T04:03:45Z) - A Concise Review of Transfer Learning [1.5771347525430772]
転送学習は、他の関連するソースデータを適用することで、ターゲット学習者のパフォーマンスを高めることを目的としている。
従来の機械学習とデータマイニングのテクニックは、トレーニングとテストのデータは同じ特徴空間と分布から来ていると仮定する。
論文 参考訳(メタデータ) (2021-04-05T20:34:55Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-02-09T03:07:07Z) - Source Data-absent Unsupervised Domain Adaptation through Hypothesis
Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。
既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。
本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文 参考訳(メタデータ) (2020-12-14T07:28:50Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。