論文の概要: Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior

• arxiv url: http://arxiv.org/abs/2404.03764v2
• Date: Thu, 22 Aug 2024 03:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 19:25:36.544198
• Title: Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior
• Title（参考訳）: 条件付きスパイク・アンド・スラブ前処理による共分散ロバスト部分情報伝達
• Authors: Ruqian Zhang, Yijiao Zhang, Annie Qu, Zhongyi Zhu, Juan Shen,
• Abstract要約: 本研究では,頑健な部分的情報伝達を実現するために,ConCERT'という新しいベイズ変換学習手法を提案する。 情報伝達のためのターゲットパラメータとソースパラメータの共分散に、条件付きスパイク・アンド・スラブ前処理を導入する。 既存の作業とは対照的に、CONCERTは1ステップの手順であり、変数の選択と情報転送を同時に行う。
• 参考スコア（独自算出の注目度）: 1.111488407653005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The popularity of transfer learning stems from the fact that it can borrow information from useful auxiliary datasets. Existing statistical transfer learning methods usually adopt a global similarity measure between the source data and the target data, which may lead to inefficiency when only partial information is shared. In this paper, we propose a novel Bayesian transfer learning method named ``CONCERT'' to allow robust partial information transfer for high-dimensional data analysis. A conditional spike-and-slab prior is introduced in the joint distribution of target and source parameters for information transfer. By incorporating covariate-specific priors, we can characterize partial similarities and integrate source information collaboratively to improve the performance on the target. In contrast to existing work, the CONCERT is a one-step procedure, which achieves variable selection and information transfer simultaneously. We establish variable selection consistency, as well as estimation and prediction error bounds for CONCERT. Our theory demonstrates the covariate-specific benefit of transfer learning. To ensure that our algorithm is scalable, we adopt the variational Bayes framework to facilitate implementation. Extensive experiments and two real data applications showcase the validity and advantage of CONCERT over existing cutting-edge transfer learning methods.
• Abstract（参考訳）: 転送学習の人気は、有用な補助データセットから情報を借用できるという事実に起因している。 既存の統計伝達学習法は通常、ソースデータとターゲットデータとのグローバルな類似度尺度を採用しており、部分的な情報のみを共有すると効率が低下する可能性がある。 本稿では,高次元データ解析のためのロバストな部分的情報伝達を実現するために,「CONCERT」と呼ばれる新しいベイズ変換学習法を提案する。 情報伝達のためのターゲットパラメータとソースパラメータの共分散に、条件付きスパイク・アンド・スラブ前処理を導入する。 共変量固有の先行情報を組み込むことで、部分的類似性を特徴付けることができ、ソース情報を協調的に統合して目標の性能を向上させることができる。 既存の作業とは対照的に、CONCERTは1ステップの手順であり、変数の選択と情報転送を同時に行う。 変数選択の整合性、および予測誤差境界を確立する。 我々の理論は、伝達学習の共変量固有の利点を実証している。 アルゴリズムがスケーラブルであることを保証するため,実装を容易にするために変分ベイズフレームワークを採用する。 大規模な実験と2つの実データ応用は、既存の最先端転送学習法に対するCONCERTの有効性と利点を示している。

関連論文リスト

• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Feature-based Federated Transfer Learning: Communication Efficiency, Robustness and Privacy [11.308544280789016]
  本稿では,コミュニケーション効率向上のための新しい手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。 具体的には,提案した特徴に基づくフェデレーション学習において,パラメータ更新ではなく,抽出した特徴と出力をアップロードするように設計する。 画像分類タスクと自然言語処理タスクを用いて,提案手法の性能評価を行い,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-15T00:43:19Z)
• Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
  クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。 データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。 本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T12:10:24Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Unified Transfer Learning Models in High-Dimensional Linear Regression [0.0]
  本稿では,トランスファー可能な変数とソースデータの両方を検出可能な,UTransと呼ばれる解釈可能な統合トランスファー学習モデルを開発する。 解釈可能性を維持しながら、既存のアルゴリズムよりもずっと低い推定と予測エラーを実現する。
  論文  参考訳（メタデータ） (2023-07-01T05:59:45Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。