論文の概要: A Class of Geometric Structures in Transfer Learning: Minimax Bounds and Optimality

• arxiv url: http://arxiv.org/abs/2202.11685v1
• Date: Wed, 23 Feb 2022 18:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 15:41:13.272093
• Title: A Class of Geometric Structures in Transfer Learning: Minimax Bounds and Optimality
• Title（参考訳）: 伝達学習における幾何学的構造のクラス:ミニマックス境界と最適性
• Authors: Xuhui Zhang and Jose Blanchet and Soumyadip Ghosh and Mark S. Squillante
• Abstract要約: 我々はソースとターゲットドメインの幾何学的構造を転写学習に活用する。 提案手法は,中等度・高次元の両方で最先端の伝達学習法より優れる。
• 参考スコア（独自算出の注目度）: 5.2172436904905535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of transfer learning, observing that previous efforts to understand its information-theoretic limits do not fully exploit the geometric structure of the source and target domains. In contrast, our study first illustrates the benefits of incorporating a natural geometric structure within a linear regression model, which corresponds to the generalized eigenvalue problem formed by the Gram matrices of both domains. We next establish a finite-sample minimax lower bound, propose a refined model interpolation estimator that enjoys a matching upper bound, and then extend our framework to multiple source domains and generalized linear models. Surprisingly, as long as information is available on the distance between the source and target parameters, negative-transfer does not occur. Simulation studies show that our proposed interpolation estimator outperforms state-of-the-art transfer learning methods in both moderate- and high-dimensional settings.
• Abstract（参考訳）: 情報理論的な限界を理解するための以前の取り組みは、ソース領域とターゲット領域の幾何学的構造を十分に活用していないことを観察して、トランスファー学習の問題を考察する。 対照的に、本研究では、線形回帰モデルに自然幾何学的構造を組み込むことの利点を、両領域のグラム行列によって形成される一般化固有値問題に対応づける。 次に,有限個のミニマックス下限を定式化し,一致する上界を楽しむ洗練されたモデル補間推定器を提案し,その枠組みを複数のソース領域と一般化線形モデルに拡張する。 驚いたことに、ソースパラメータとターゲットパラメータ間の距離で情報が得られる限り、負の転送は発生しない。 シミュレーション研究により,提案した補間推定器は,中等度・高次元の両方で最先端の伝達学習法より優れていることが示された。

関連論文リスト

• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Transfer learning with affine model transformation [18.13383101189326]
  本稿では,アフィンモデル転送と呼ばれる,伝達学習の一般的なクラスについて述べる。 アフィンモデル転送は、ニューラル特徴抽出器に基づく最も一般的な手順を含む、様々な既存手法を幅広く包含していることが示されている。
  論文  参考訳（メタデータ） (2022-10-18T10:50:24Z)
• Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
  動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。 後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
  論文  参考訳（メタデータ） (2022-09-29T22:10:42Z)
• On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
  再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。 我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。 2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
  論文  参考訳（メタデータ） (2022-06-09T04:50:16Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。