論文の概要: Transfer learning with affine model transformation
- arxiv url: http://arxiv.org/abs/2210.09745v1
- Date: Tue, 18 Oct 2022 10:50:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 13:47:21.752928
- Title: Transfer learning with affine model transformation
- Title(参考訳): アフィンモデル変換による伝達学習
- Authors: Shunya Minami, Kenji Fukumizu, Yoshihiro Hayashi, Ryo Yoshida
- Abstract要約: 対象ドメインからのソースモデルとサンプルのセットを使用して、ドメイン間の差異をモデル化し、推定する。
本研究では,ドメインシフトとドメイン固有因子を同時に推定するTLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 16.41476388508298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised transfer learning (TL) has received considerable attention because
of its potential to boost the predictive power of machine learning in cases
with limited data. In a conventional scenario, cross-domain differences are
modeled and estimated using a given set of source models and samples from a
target domain. For example, if there is a functional relationship between
source and target domains, only domain-specific factors are additionally
learned using target samples to shift the source models to the target. However,
the general methodology for modeling and estimating such cross-domain shifts
has been less studied. This study presents a TL framework that simultaneously
and separately estimates domain shifts and domain-specific factors using given
target samples. Assuming consistency and invertibility of the domain
transformation functions, we derive an optimal family of functions to represent
the cross-domain shift. The newly derived class of transformation functions
takes the same form as invertible neural networks using affine coupling layers,
which are widely used in generative deep learning. We show that the proposed
method encompasses a wide range of existing methods, including the most common
TL procedure based on feature extraction using neural networks. We also clarify
the theoretical properties of the proposed method, such as the convergence rate
of the generalization error, and demonstrate the practical benefits of
separately modeling and estimating domain-specific factors through several case
studies.
- Abstract(参考訳): supervised transfer learning (tl) は、限られたデータを扱う場合の機械学習の予測能力を高める可能性があるため、多くの注目を集めている。
従来のシナリオでは、対象ドメインから与えられたソースモデルとサンプルのセットを使用して、ドメイン間の差異をモデル化し、推定する。
例えば、ソースドメインとターゲットドメインの間に機能的な関係がある場合、ターゲットサンプルを使用して、ソースモデルをターゲットに移動するドメイン固有の要素のみを学習する。
しかし、そのようなドメイン間のシフトをモデル化し、推定する一般的な手法は、あまり研究されていない。
本研究では,ドメインシフトとドメイン固有因子を同時に,かつ個別に推定するTLフレームワークを提案する。
領域変換関数の整合性と可逆性を仮定すると、クロスドメインシフトを表現するのに最適な関数群を導出する。
新たに派生した変換関数のクラスは、生成的ディープラーニングで広く使われているアフィン結合層を用いた可逆ニューラルネットワークと同じ形を取る。
提案手法は,ニューラルネットワークを用いた特徴抽出に基づく最も一般的なtl手続きを含む,幅広い既存手法を包含することを示す。
また,一般化誤差の収束率など,提案手法の理論的特性を明らかにし,いくつかのケーススタディを通して,ドメイン固有因子を個別にモデル化し,推定することの実際的利点を実証する。
関連論文リスト
- Reflected Schr\"odinger Bridge for Constrained Generative Modeling [16.72888494254555]
反射拡散モデルは、現実の応用における大規模生成モデルのゴートメソッドとなっている。
本稿では,様々な領域内でデータを生成するために最適化されたエントロピー規則化された最適輸送手法であるReflectioned Schrodinger Bridgeアルゴリズムを紹介する。
提案アルゴリズムは,多様な領域におけるロバストな生成モデリングを実現し,そのスケーラビリティは,標準画像ベンチマークによる実世界の制約付き生成モデリングにおいて実証される。
論文 参考訳(メタデータ) (2024-01-06T14:39:58Z) - Fairness-Aware Domain Generalization under Covariate and Dependence
Shifts [29.663115314034126]
ドメインシフトに対処する新しい領域一般化手法を提案する。
我々は、基礎となる変換モデルの存在が、あるドメインから別のドメインへデータを変換できると主張している。
モデルを用いて合成ドメインのデータを生成することにより、公正に認識された不変な分類器が学習される。
論文 参考訳(メタデータ) (2023-11-23T05:52:00Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression [3.5788754401889014]
サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。
学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。
対象モデルを構築するための表現伝達に基づく学習手法を提案する。
論文 参考訳(メタデータ) (2023-05-25T19:35:24Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳(メタデータ) (2022-11-29T19:39:47Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳(メタデータ) (2022-03-31T10:36:50Z) - A Class of Geometric Structures in Transfer Learning: Minimax Bounds and
Optimality [5.2172436904905535]
我々はソースとターゲットドメインの幾何学的構造を転写学習に活用する。
提案手法は,中等度・高次元の両方で最先端の伝達学習法より優れる。
論文 参考訳(メタデータ) (2022-02-23T18:47:53Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:33:54Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-27T07:36:32Z) - Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。
既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。
本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T03:17:54Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。