論文の概要: Analysis of Information Transfer from Heterogeneous Sources via Precise
High-dimensional Asymptotics
- arxiv url: http://arxiv.org/abs/2010.11750v2
- Date: Sun, 22 Aug 2021 16:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 05:40:15.809589
- Title: Analysis of Information Transfer from Heterogeneous Sources via Precise
High-dimensional Asymptotics
- Title（参考訳）: 高精度な高次元漸近解析による異種音源からの情報伝達の解析
- Authors: Fan Yang, Hongyang R. Zhang, Sen Wu, Weijie J. Su, Christopher R\'e
- Abstract要約: 我々は、あるソースタスクから知識を得て、異なるが関連するターゲットタスクに適用するという、トランスファーラーニングの問題を考察する。
転送学習における基本的な問題は、目的のタスクのデータのみを使用することよりも、両方のタスクのデータの組み合わせがよりうまく機能するかどうかである。
- 参考スコア（独自算出の注目度）: 34.40702005466919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of transfer learning -- gaining knowledge from one
source task and applying it to a different but related target task. A
fundamental question in transfer learning is whether combining the data of both
tasks works better than using only the target task's data (equivalently,
whether a "positive information transfer" happens). We study this question
formally in a linear regression setting where a two-layer linear neural network
estimator combines both tasks' data. The estimator uses a shared parameter
vector for both tasks and exhibits positive or negative information transfer by
varying dataset characteristics.
We characterize the precise asymptotic limit of the prediction risk of the
above estimator when the sample sizes increase with the feature dimension
proportionally at fixed ratios. We also show that the asymptotic limit is
sufficiently accurate for finite dimensions. Then, we provide the exact
condition to determine positive (and negative) information transfer in a
random-effect model, leading to several theoretical insights. For example, the
risk curve is non-monotone under model shift, thus motivating a transfer
learning procedure that progressively adds data from the source task. We
validate this procedure's efficiency on text classification tasks with a neural
network that applies a shared feature space for both tasks, similar to the
above estimator. The main ingredient of the analysis is finding the
high-dimensional asymptotic limits of various functions involving the sum of
two independent sample covariance matrices with different population covariance
matrices, which may be of independent interest.
- Abstract（参考訳）: 我々は、トランスファー学習の問題を考える -- 1つのソースタスクから知識を取得し、異なるが関連するターゲットタスクに適用する。
転送学習における基本的な問題は、両方のタスクのデータの組み合わせが、目的のタスクのデータのみを使用することよりもうまく機能するかどうかである。
本稿では,この問題を2層線形ニューラルネットワーク推定器が両方のタスクのデータを組み合わせた線形回帰環境で正式に検討する。
この推定器は、両方のタスクに共有パラメータベクトルを使用し、異なるデータセット特性による正または負の情報伝達を示す。
本研究では, 試料サイズが一定比で比例的に増加すると, 上記推定値の予測リスクの正確な漸近限界を特徴付ける。
また、漸近極限は有限次元に対して十分正確であることを示す。
次に、ランダム効果モデルにおいて、正の(かつ負の)情報伝達を決定するための正確な条件を提供し、いくつかの理論的洞察をもたらす。
例えば、リスク曲線はモデルシフトの下で単調ではないため、ソースタスクからデータを徐々に追加する転送学習手順が動機となる。
上記の推定器と同様に,両タスクに共通機能空間を適用するニューラルネットワークを用いて,テキスト分類タスクにおけるこの手順の効率性を検証する。
この分析の主成分は、異なる集団共分散行列を持つ2つの独立したサンプル共分散行列の和を含む様々な機能の高次元漸近限界を見つけることである。
関連論文リスト
- Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。
このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。
本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-07-03T07:54:08Z) - The Joint Effect of Task Similarity and Overparameterization on
Catastrophic Forgetting -- An Analytical Model [36.766748277141744]
継続的な学習では、破滅的な忘れはタスクの複数の側面に影響される。
これまでの研究は、タスクの類似性やパラメータ化の過度な影響によって、忘れることがどう影響するかを別々に分析してきた。
本稿では,タスクの類似性と過剰なパラメータ化が,分析可能なモデルにおける記憶にどう影響するかを考察する。
論文 参考訳（メタデータ） (2024-01-23T10:16:44Z) - A Semiparametric Efficient Approach To Label Shift Estimation and
Quantification [0.0]
本稿では、応答変数の分布の変化を推定するSELSEと呼ばれる新しい手順を提案する。
SELSEの正規化誤差は、その家系の他のどのアルゴリズムよりも最小の分散行列を持つことを示す。
論文 参考訳（メタデータ） (2022-11-07T07:49:29Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。
例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
論文 参考訳（メタデータ） (2021-09-03T08:43:29Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Double Double Descent: On Generalization Errors in Transfer Learning
between Linear Regression Tasks [30.075430694663293]
本稿では,2つの線形回帰問題間の伝達学習過程について検討する。
本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
論文 参考訳（メタデータ） (2020-06-12T08:42:14Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。