論文の概要: Transfer Learning with Multi-source Data: High-dimensional Inference for
Group Distributionally Robust Models
- arxiv url: http://arxiv.org/abs/2011.07568v3
- Date: Wed, 16 Feb 2022 20:19:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 07:40:38.227528
- Title: Transfer Learning with Multi-source Data: High-dimensional Inference for
Group Distributionally Robust Models
- Title（参考訳）: 多元データを用いた転送学習:群分布ロバストモデルに対する高次元推論
- Authors: Zijian Guo
- Abstract要約: マルチソースデータによる学習はモデル一般化可能性の向上に役立ち、多くの重要な統計問題に不可欠なものである。
本稿では,マルチソースデータに対する複数の高次元回帰モデルについて考察する。
我々は,高次元マクシミン効果に対する有効信頼区間を構築するための新しいDenseNetサンプリング手法を考案した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The construction of generalizable and transferable models is a fundamental
goal of statistical learning. Learning with the multi-source data helps improve
model generalizability and is integral to many important statistical problems,
including group distributionally robust optimization, minimax group fairness,
and maximin projection. This paper considers multiple high-dimensional
regression models for the multi-source data. We introduce the covariate shift
maximin effect as a group distributionally robust model. This robust model
helps transfer the information from the multi-source data to the unlabelled
target population. Statistical inference for the covariate shift maximin effect
is challenging since its point estimator may have a non-standard limiting
distribution. We devise a novel {\it DenseNet} sampling method to construct
valid confidence intervals for the high-dimensional maximin effect. We show
that our proposed confidence interval achieves the desired coverage level and
attains a parametric length. Our proposed DenseNet sampling method and the
related theoretical analysis are of independent interest in addressing other
non-regular or non-standard inference problems. We demonstrate the proposed
method over a large-scale simulation and genetic data on yeast colony growth
under multiple environments.
- Abstract（参考訳）: 一般化と伝達可能なモデルの構築は、統計学習の基本的な目標である。
マルチソースデータによる学習は、モデル一般化可能性の向上に寄与し、群分布的ロバストな最適化、極小群フェアネス、最大射影など、多くの重要な統計問題に不可欠なものである。
本稿では,マルチソースデータに対する複数の高次元回帰モデルについて考察する。
共変量シフト最大化効果を群分布安定モデルとして導入する。
このロバストモデルは、マルチソースデータから未競合のターゲット人口へ情報を転送するのに役立ちます。
変量シフト最大値効果の統計的推測は、その点推定器が非標準極限分布を持つため困難である。
我々は,高次元マクシミン効果に対する有効信頼区間を構築するための新しいDenseNetサンプリング手法を考案した。
提案する信頼区間が所望のカバレッジレベルに達し,パラメトリックな長さに達することを示す。
提案手法と関連する理論解析は,他の非正規あるいは非標準推論問題に対処する上で,独立した関心を持つ。
複数の環境下での酵母コロニーの成長に関する大規模シミュレーションと遺伝データを用いて提案手法を実証した。
関連論文リスト
- The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳（メタデータ） (2023-11-28T16:46:14Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳（メタデータ） (2023-02-26T16:32:52Z) - Robust Direct Learning for Causal Data Fusion [14.462235940634969]
我々は、他のニュアンス関数から処理効果を分離するマルチソースデータを統合するためのフレームワークを提供する。
また,半パラメトリック効率理論の理論的洞察に基づく因果情報認識重み付け関数を提案する。
論文 参考訳（メタデータ） (2022-11-01T03:33:22Z) - Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。
本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。
混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。
提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
論文 参考訳（メタデータ） (2022-10-13T16:18:46Z) - Learning Invariant Representation with Consistency and Diversity for
Semi-supervised Source Hypothesis Transfer [46.68586555288172]
本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。
本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。
実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-07T04:14:24Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。